Что не так с этой программой? Что за inf nan? Пожалуйста посчитайте пожалуйста.

inf означает бесконечность (infinity)
nan - Not A Number, т.е. "не число".
Скорее всего, какая-то ошибка в вычислениях