Анализ robots.txt в Яндекс.Вебмастер — это простой и удобный способ сканирования файла robots.txt, позволяющий увидеть историю его изменений и сразу проверить, какие URL он запрещает или разрешает сканировать.
Видеоинструкция
Анализ robots.txt для подтвержденного сайта в Yandex.Webmaster
После подключения к Вебмастеру владельцу сайта достаточно перейти в раздел «Инструменты»-«Анализ robots.txt».
Здесь в окне будет представлен весь обработанный файл.
При необходимости можно посмотреть и более старые версии сайта.
Также возможно скачивание файла.
В нижней части экрана можно увидеть результаты анализа и вывести список ошибок.
Далее идет инструмент проверки возможности сканирования, где достаточно ввести необходимые URL (одному в строчке) и нажимаем на кнопку «Проверить».
Важно! За 1 запрос можно проверить не более 100 URL.
Далее можно будет увидеть следующие статусы:
- Выделено красным. Робот Яндекса не может сканировать страницу;
- Зеленая галочка. Лендинг разрешен к индексации.
Для не подтвержденных сайтов
Если анализ идет на чужом домене (подтвержден в сервисе), то достаточно перейти на страницу под своим Яндекс.Аккаунтом:
https://webmaster.yandex.ru/tools/robotstxt/
После чего также появляется возможность делать анализ, за исключением возможности анализировать более старые версии.
Источник: https://seopulses.ru/analyz-robots-txt-v-yandex-webmaster/
Подписывайтесь на наш Telegram-канал
Подписывайтесь на наш Youtube-канал
Подписывайтесь на нашу группу ВКонтакте