Надо писать по часовой стрелкЕ, но против часовой стрелкИ. Так? Почему?

Потому что слово "стрелка" в двух этих примерах находится в разных падежах. В первом случае оно (слово) отвечает на вопрос "(по) кому/чему?" — "(по) стрелке", т.е. находится в дательном падеже. Во втором случае слово отвечает на вопрос "(против) кого/чего?" — "(против) стрелки", т.е. находится в родительном падеже. Разные падежи — разные окончания.