​​​​​​​​​​​Crawl delay в robots txt Crawl delay в robots.txtКак управлять скоростью индексации веб-страницКогда робот поисковых систем обходит сайт, он следует правилам, указанным в файле robots.txt. Один из таких правил – crawl delay, который позволяет веб-мастерам контролировать скорость сканирования и индексации страниц.User-agent: * Crawl-delay: 5 Этот пример указывает роботу поисковой системы ждать 5 секунд между запросами к серверу. Такой подход полезен в случае, если сайт хостится на слабом сервере или разделяет ресурсы с другими сайтами...