Какую работу выполняют роботы(пауки) поисковых машин​

Краулер (робот паук) — это программные модули поисковых систем, которые отвечают за поиск веб-сайтов их сканирование и добавление материалов в базу данных