Что такое поисковые роботы Это обычные программы, которые работают на серверах поисковых систем, например Яндекс или Гугл. Задача этих программ ходить по ресурсам интернета, собирать информацию и передавать для обработки программам - анализаторам контента. Специально употребил слово "ресурс", поскольку оно включает в себя не только сайты интернета, но и всевозможный другой контент - от текстовых документов "без сайта" до баз данных и баз знаний. Конечно, когда сейчас говорю о роботах в первую очередь подразумеваю их как исследователей сайтов...

Если интернет – огромная библиотека, в которой собраны книги со всего мира, а пользователь – читатель, который пришел за книгой, то поисковая система – библиотекарь, способный в кратчайшие сроки найти искомую книгу. Как поисковик быстро находит нужный сайт? С помощью индексации, которую совершают поисковые роботы. Поисковый индекс     Когда пользователь вводит запрос в строке поиска, система формирует выдачу, которую она берет из собственной базы данных. Эта база данных находится на серверах поисковых систем и представляет собой хранилище информации о сайтах – поисковый индекс...