Что такое веб-краулер?

Краулер - это программный скрипт, который парсит данные (читает страницу и выбирает то, что разработчик заложил в его поиск с помощью регулярных выражений). Затем распарсенные (прочитанные) данные собираются и кладутся в базу данных, где каждому полю соответствует имя значения, которое нашел робот. Структура данных такого результата парсинга - ассоциативный массив, где хранятся пары "ключ-значение". Написан может быть на любом языке программирования.

Примеры таких краулеров - поисковый робот Яндекса или Google, которые обходят интернет и индексируют сайты. Или парсер номеров телефонов из объявлений с Авито - его задача перебирать веб-страницы на домене Авито и если на странице указан номер телефона, сохранить адрес страницы, номер телефона и имя владельца объявления.