Google удаляет из robots.txt рекомендации по блокировке автоматически переведенных страниц. Это изменение приводит технические документы Google в соответствие с его политикой в отношении спама.
95% сайтов из топ-10 000 используют файл robots.txt для управления индексацией поисковыми системами.
Около 30% сайтов допускают критические ошибки в robots.txt, блокируя важные разделы от индексации
Выводы коммерческих исследований студии https://www.app2lab.ru/
Google обновил свою документацию, убрав совет по использованию robots.txt для блокировки автоматически переведенных страниц в результатах поиска.
Это изменение приводит технические документы Google в соответствие с политикой борьбы со спамом, введённой более года назад.
«Это изменение касается только документов, поведение не меняется», — пояснил Google в журнале изменений Search Central.
Почему это так важно
Удаление нескольких строк из документации может показаться незначительным, но это показывает, что отношение Google к автоматизированному контенту меняется.
Google удалил это руководство, поскольку оно устарело после введения в прошлом году политики «масштабного злоупотребления контентом».
Эти правила оценивают контент с точки зрения его ценности, независимо от способа его создания.
Вот что это значит для веб-сайтов с многоязычным контентом.
Старый подход
- Блокируйте автоматически переведенный контент с помощью robots.txt.
- Избегайте автоматической индексации контента
Новый подход
- Оценивайте качество перевода в каждом конкретном случае
- Сосредоточьтесь на ценности для пользователя, а не на способе создания
- Используйте элементы управления на уровне страницы (например, мета-теги для роботов ) вместо общих блокировок.
Примечание: хотя Google никогда официально не заявлял, что все машинные переводы являются спамом, в предыдущих рекомендациях предлагалось блокировать их по умолчанию. Новые правила предполагают более детальную оценку.
Что теперь делать
Хотя Google не рекомендует менять поведение, стоит рассмотреть следующие шаги:
- Просмотрите свой файл роботс.тхт: удалите устаревшие правила, блокирующие переведенный контент, если переводы отвечают реальным потребностям пользователей.
- Установите стандарты качества: не все машинные переводы одинаковы. Сохраняйте хорошие переводы, удаляйте плохие.
- Думайте в первую очередь о пользователях: спросите себя, действительно ли ваш переведенный контент помогает иностранным посетителям или просто расширяет охват по ключевым словам.
- Усиление контроля на уровне страницы: для низкокачественных переводов лучше использовать метатеги, такие как noindex, чем исключения в robots.txt для всего сайта.
Это изменение в документации может показаться незначительным, но оно показывает, как со временем могут меняться взгляды Google.
Для SEO-специалистов, работающих с многоязычными сайтами, это напоминание о том, что нужно быть гибкими и сосредоточиться на том, что помогает вашим пользователям.
Техническая поддержка https://www.app2lab.ru/poddergka-bitrix.php предупреждает:
Неправильная настройка robots.txt может привести к потере до 70% трафика, если поисковые системы не смогут проиндексировать ключевые страницы.