67 подписчиков
Google ответил на несколько вопросов о файлах robots.txt
Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер ответил на вопрос о том, как поисковик относится к «сложным» и «огромным» файлам robots.txt.
Речь шла о файле с 1500 строк и множеством директив disallow, количество которых с годами увеличивалось.
По словам Мюллера, большой файл robots.txt напрямую не оказывает негативного влияния на поисковую оптимизацию сайта. Однако его сложно поддерживать, что может приводить к непредвиденным проблемам.
На дополнительный вопрос о том, возможны ли проблемы, если не включать Sitemap в robots.txt, Мюллер ответил так:
«Нет, для нас эти разные способы отправки Sitemap эквивалентны».
Далее Мюллер ответил на еще несколько вопросов на эту тему...
Около минуты
19 января 2022