Сотрудник Google рассказал о том, как поисковая система собирает данные и индексирует сайты. Для примера он использовал аналогию с работой библиотекаря.
Представьте себе библиотекаря. После того, как ему принесли новую книгу, он должен прочитать её, чтобы понять о чем она и если ли в библиотеке подобные издания.
В его примере библиотекарь - это поисковый робот Google (называемый Googlebot), а книга - веб-сайт. Ваша веб-страница сохраняется в “каталоге” (индексе поисковой системы), где она ранжируется и попадает в поисковую выдачу.
У нас есть список URL-адресов и мы берем каждую из этих ссылок, делаем запрос, смотрим на ответ сервера, а затем мы добавляем её в индекс.
