Раздражает ли людей, если разговаривая, избегать контакта глаз? Почему?

Это прежде всего целиком и полностью вопрос сложившихся в конкретной культуре традиций. Так, у американцев США принято постоянно смотреть в глаза собеседнику, в Японии не принято этого делать, а для носителей российской ментальности нормой является вариант чередования - то есть контакт глазами, то взгляд отводится.

Любое нарушение привычной модели воспринимается как раздражающее, озадачивающее, оскорбительное - до тех пор, пока вы не знаете, представитель какой культуры перед вами или что у него со здоровьем. В частности, он может просто очень плохо видеть и не будет ловить ваш взгляд, потому что для него он не информативен. Или у него могут быть особенности психического состояния/ здоровья. Или что угодно ещё, скажем, реакция на навязываемое ему общение.