Вы согласны, что без математики можно жить, а вот без числительных- нет?

Числительные, конечно, это часть языка, а не математики. Вот только когда их начинают применять для количественной оценки чего-либо, даже без элементарной арифметики, просто "вот пошло четыре человека" - это уже вполне себе математика, ИМХО. Впрочем, утверждение это в любом случае ложно. Живет ведь без числительных народ пирахан в Южной Америке, говорящий на своем собственном языке, в котором числительных нет вообще. Есть только слова "немного", "много" и "очень много", но им этого вполне хватает. Конечно, их (носителей языка) осталось всего около 400 человек, но даже если они когда-то вымрут полностью, факта существования такого языка это не изменит.