На работе меня один любит, я знаю, но как сказать ему нет?

Если вы замужем, то дайте ему понять, что вы замужем, либо скажите ему.

А пока он только вам помогает в чем-то, то в этом нет ничего плохого.

Пусть помогает, он же вас пока никуда не приглашает. А вот как пригласит, так скажите ему что вы против всяких встреч и тому подобное.