Другие статьи по теме: Crawl-delay Директива, теряющая актуальность в случае Goolge, но полезная для работы с другими поисковиками. Позволяет замедлить сканирование, если сервер бывает перегружен. Устанавливает интервал времени для обхода страниц в секундах (для Яндекса). Чем выше значение, тем медленнее краулер ходит по сайту. User-agent: * Crawl-delay: 5 Несмотря на то, что Googlebot игнорирует подобные правила, настроить скорость сканирования можно в Google Search Console проекта. Интересно, что китайский Baidu также не обращает внимание на Crawl-delay в robots...

Скорость обхода в Яндекс.Вебмастер — это простой и удобный способ указать какую загрузки страниц следует использовать роботу, для того, чтобы индексировать сайт. Скорость обхода в Yandex.Webmaster После подключения к Вебмастеру владельцу сайта достаточно перейти в раздел «Индексирование»-«Скорость обхода». Здесь имеется 2 варианта выбора: Ручная настройка В этом случае потребуется выбрать соответствующий пункт, после чего повернуть ролик в нужную сторону, например, влево для уменьшения. Или вправо для ускорения...