Какая часть речи слово ночью?

Тут все зависит от того, как построено предложение. И слово "ночью" может быть существительным в творительном падеже.

Например:

За ночью всегда следуют день.

За чем? За ночью.

Вместе с ночью вернулся вернулся и его страх.

С чем? С ночью.

Но в некоторых случаях "ночью" будет выступать в качестве наречия. И тут подобных предлогов не будет и задаваться вопрос будет иной. Сменить форму также не выйдет, поскольку данная часть речи - не меняется.

Например:

Ночью началась буря и всего дороги оказались перекрыты.

Когда? Ночью.

Ночью вернули его страхи.

Когда? Ночью.

Смысл предложения схож с предыдущим вариантом. Но тут у нас слово играет роль обстоятельства времени.