Стоит оставаться на работе,если есть люди, с кем не получается сработаться?

Может быть, у них юмор такой, а вы его просто не понимаете?

Ну или эти люди не понимают, что не смешно.

Как вариант, можно сразу напрямую говорить людям, когда они делают что-то неприятное, что Вам не нравится такое отношение. Или просто общаться с такими только на рабочие темы.

Стоит оценить и отношение к самой работе. Она вам нравится или нет? Если сама работа приносит удовольствие, то с некоторыми людьми можно смириться. Или найти к ним новый подход.