По большому счёту у поисковика две задачи: сбор информации и выдача её по запросу. О выдаче в другой раз, пока о том как устроен сбор. Для сбора информации используются 3 группы роботов. Первая группа роботов занимается сбором информации с сайтов, здесь всё просто, из базы берётся адрес ресурса, делается запрос, ответ записывают в специальное место. Параллельно со сборщиками работает вторая группа роботов, которая проверяет поступление новой информации и её индексирует. Третья группа роботов, анализирует работу двух других групп с целью оптимизации их работы.