Как называется функция, которая вызывает сама себя?

Это называется рекурсия или рекурсивная функция.

У меня в одной старой книге о программировании графики на Си есть пример применения такой функции (по-моему книга про графику, многотомник, писатель - Аммерал, но не 100% уверен что пример запомнил именно из той книги). Там описывалась программа, осуществляющая заливку некоего участка цветом, например как происходит заливка участка цветом в программе Paint (только алгоритмы заливки могут быть разными).

Там рекурсивная функция использовалась для сканирования соседних точек вокруг точки. То есть закрашивается точка, а затем сканируются точки вокруг неё, а затем рекурсивно то же самое происходит с этими точками (они закрашиваются и сканируется место вокруг них).