Как дальше общаться с братом?

Ничего себе! Неблагодарный же этот брат! А ещё брат называется! Я бы с таким вообще общаться не стала. И этим тётенькам из опеки рассказала бы, почему он их вызывает. А если он будет так вести себя и дальше, можно на него в суд подать за клевету и моральный вред. Вам детей надо растить, а он будет гадить? Не оставляйте это просто так, иначе он вообще обнаглеет.