Почему Яндекс игнорирует Crawl-delay в robots.txt? Яндекс не поддерживает Crawl-delay: робот не учитывает указанный там интервал между запросами. Скорость обхода сайта регулируется не через robots.txt, а в Яндекс.Вебмастере — в разделе «Индексирование» → «Скорость обхода». На практике это значит, что даже корректно прописанный Crawl-delay не снизит нагрузку от робота Яндекса. Чтобы управлять обходом, подтвердите сайт в Яндекс.Вебмастере, откройте раздел «Индексирование» → «Скорость обхода» и выберите автоматический режим или ручной лимит...