Найти в Дзене
Удаленный

Как настроить robots.txt и не забыть про Google

1,5 месяца не мог понять, что не так с клиентским сайтом. Ресурс новый, правда на дропнутом домене. В Яндексе вел себя предсказуемо, а вот с Гуглом — беда. Медленно, но уверенно страницы выпадали из индекса. Я седел… Что сделал для решения проблемы Все бесполезно. Ситуация не изменилась. Что помогло Совет моего руководителя. Дело, говорит, в Mobile First Index. Проверил я адаптацию для мобильных в Test Mobile Friendly и увидел такое: Все скрипты, стили, некоторые изображения и шрифты я закрыл в robots. Из-за этого мобильная версия некорректно рендерилась и сайт выпал из индекса. Теория подтвердилась, когда я отредактировал директиву и открыл все стили и скрипты. Гуглбот вернулся на сайт и страницы начали потихоньку возвращаться в индекс. На скрине стрелкой отмечен момент, когда я отредактировал robots: Что в итоге Ситуация с новым robots толком ничего не поменяла... Дроп оказался захламленным, с плохой историей. Пришлось переносить сайт на новый домен. Но если вынести этот момент з
Оглавление

1,5 месяца не мог понять, что не так с клиентским сайтом. Ресурс новый, правда на дропнутом домене. В Яндексе вел себя предсказуемо, а вот с Гуглом — беда. Медленно, но уверенно страницы выпадали из индекса. Я седел…

Что сделал для решения проблемы

  1. Настроил пагинацию, чтобы не было дублей.
  2. Переписал все (!) неуникальные текстовые блоки. Даже типовые, с преимуществами.
  3. Убрал баги html-верстки.
  4. Исправил ошибки микроразметки (от безысходности подумал, что причина может быть в этом).
  5. Проверил обратные ссылки.
  6. Убедился, что на сайте нет малополезного контента.

Все бесполезно. Ситуация не изменилась.

Что помогло

Совет моего руководителя. Дело, говорит, в Mobile First Index. Проверил я адаптацию для мобильных в Test Mobile Friendly и увидел такое:

Пример, как НЕ нужно настраивать robots.txt
Пример, как НЕ нужно настраивать robots.txt

Все скрипты, стили, некоторые изображения и шрифты я закрыл в robots.

“О” — Олень
“О” — Олень

Из-за этого мобильная версия некорректно рендерилась и сайт выпал из индекса.

Теория подтвердилась, когда я отредактировал директиву и открыл все стили и скрипты. Гуглбот вернулся на сайт и страницы начали потихоньку возвращаться в индекс. На скрине стрелкой отмечен момент, когда я отредактировал robots:

-4

Что в итоге

Ситуация с новым robots толком ничего не поменяла... Дроп оказался захламленным, с плохой историей. Пришлось переносить сайт на новый домен.

Но если вынести этот момент за скобки, то напрашивается один вывод — всегда нужно быть внимательным при решение типовых задач. Это сильно экономит время.