Понимание работы поиска, залог хороших органических позиций сайта. Поисковые системы помогают упорядочить хаос. Из большого количества сайтов, поисковый алгоритм выдает только те, что вы ищете. Алгоритм поиска информации в интернете, очень похож на поиск главы в книге. Используются те же элементы, что и в книге. Оглавление. В интернете существую каталоги. Там сайты интернета разложены по рубрикам. Пользователь может просматривать оглавление каталога по рубрикам. Просмотреть сайты, которые относятся к рубрике и выбрать нужный...

Что такое поисковые роботы Это обычные программы, которые работают на серверах поисковых систем, например Яндекс или Гугл. Задача этих программ ходить по ресурсам интернета, собирать информацию и передавать для обработки программам - анализаторам контента. Специально употребил слово "ресурс", поскольку оно включает в себя не только сайты интернета, но и всевозможный другой контент - от текстовых документов "без сайта" до баз данных и баз знаний. Конечно, когда сейчас говорю о роботах в первую очередь подразумеваю их как исследователей сайтов...