Привет, друг! Ты когда-нибудь слышал о поисковых роботах, которые смогут достать для тебя очень интересную информацию... Нет? Тогда приступим к изучению! Понятия Поисковой робот (он же краулеры, боты, веб-паук) - программа, которая индексирует страницы сайта посредством поиска уже на индексированных страницах. Схема работы бота:       Какие боты у Google и Yandex? У каждого поисковика есть свои поисковые боты. Давайте рассмотрим на примере Google и Yandex. Google Впечатляет, да? У Яндекса ситуация не хуже, тоже много ботов...

Если интернет – огромная библиотека, в которой собраны книги со всего мира, а пользователь – читатель, который пришел за книгой, то поисковая система – библиотекарь, способный в кратчайшие сроки найти искомую книгу. Как поисковик быстро находит нужный сайт? С помощью индексации, которую совершают поисковые роботы. Поисковый индекс     Когда пользователь вводит запрос в строке поиска, система формирует выдачу, которую она берет из собственной базы данных. Эта база данных находится на серверах поисковых систем и представляет собой хранилище информации о сайтах – поисковый индекс...