СтеллажОм или стеллажЁм — как правильно писать и почему?

Слово, о котором Вы спрашиваете, является формой творительного падежа единственного числа существительного "стеллаж". Его правильно писать в соответствии с первым предположенным Вами вариантом: через О. А правило такое: после шипящих в окончаниях существительных и прилагательных под ударением пишут О.