Сотрудник Google Гэри Ильеш опубликовал подробности о том, как работает краулер. Лимиты загрузки на один URL: - HTML-страницы — 2 МБ - PDF-файлы — 64 МБ - Остальные форматы — 15 МБ по умолчанию Если HTML превышает 2 МБ — робот не отклоняет страницу, а просто останавливается на этой отметке. Скачанная часть уходит в индекс как полноценный документ, остальное не рендерится и не индексируется. Также уточнено: Googlebot — это не один робот, а множество специализированных для разных задач. Рекомендации Google: - CSS и JS выносить во внешние файлы - Мета-теги, canonical и структурированные данные размещать как можно выше в коде - Следить за серверными логами — при медленной отдаче краулер снижает частоту обходов 🔗 Источник