Привет! Сегодня вы узнаете, как работают поисковые роботы и зачем они вообще нужны. Поисковый робот - это программа от поисковой системы, которая переходит по ссылкам сайта и сканирует его содержимое для выявления новых и проверки старых страниц.
После этого поисковый робот скачивает полученную страницу на сервер Яндекса или Google для ранжирования. Что такое ранжирование, вы узнали в предыдущих уроках.
Поисковых роботов существует много типов и видов. Посмотрите на фотографию на экране, чтобы представить себе, как робот может увидеть страницу и добавить ее в поисковую базу. Чтобы страницу увидел робот и добавил ее в базу, на нее обязательно должна вести внешняя или внутренняя ссылка.
Внешняя ссылка - это ссылка с любого стороннего ресурса, например, даже соцсетей. Внутренняя ссылка - это ссылки, которые находятся именно на вашем сайте и позволяют, например, пользователю переходить с одной страницы на другую. Если на страницу нет ссылки, поисковый робот просто не увидит ее.
Для скорректирования работы робота и запрета индексации определенной страницы или целой части сайта, создается файл robots.txt с необходимыми параметрами. Настройка этого файла помогает избежать попадания технических и личных страниц в основной поиск. Также, для запрета индексации части текста на странице сайта, можно воспользоваться тегом "noindex".
Более подробно о настройке robots.txt и методах тайвинга индекса мы поговорим в следующем уроке.
Что такое СЕО
#поисковые_роботы #файл_robots.txt #SEO #поисковая_оптимизация #индексация_страниц #информация_для_поисковых_роботов