Другие статьи по теме: Crawl-delay Директива, теряющая актуальность в случае Goolge, но полезная для работы с другими поисковиками. Позволяет замедлить сканирование, если сервер бывает перегружен. Устанавливает интервал времени для обхода страниц в секундах (для Яндекса). Чем выше значение, тем медленнее краулер ходит по сайту. User-agent: * Crawl-delay: 5 Несмотря на то, что Googlebot игнорирует подобные правила, настроить скорость сканирования можно в Google Search Console проекта. Интересно, что китайский Baidu также не обращает внимание на Crawl-delay в robots...

В Яндекс.Вебмастере появился новый инструмент — «Скорость обхода», который находится в разделе «Индексирование». Этот инструмент позволяет регулировать, как часто Яндекс может делать запросы к вашему сайту, то есть регулировать скорость обхода вашего сайта со стороны поисковых роботов. По умолчанию мы будем подбирать максимальную скорость для конкретного сайта, учитывая допустимые нагрузки для вашего сервера. Проанализировав письма за последние два года в нашу поддержку по вопросам индексирования,...