Проверка наличия и корректности файла Robots.txt
Проверяем наличие в корневой директории сайта файла robots.txt. Если файла в директории нет, то создаем его.
Отсутствие файла robots.txt в корневой директории сайта является SEO ошибкой и её нужно исправлять!
Проверить наличие файла можно прямо в браузере: вводите название домена, слеш, далее вводите robots.txt, если файл существует то он должен открыться.
Пример: domen.ru/robots.txt
Данный файл можно создать вручную, любо воспользоваться готовыми модулями (если у вас сайт работает на готовой системе управления сайтом CMS, то практически в каждой есть бесплатный функционал для создания данного файла роботс).
Если правила индексации вашего сайта для поисковых систем Яндекс и Гугл различные, то Вы можете создать файл вручную и разделить набор директив для каждого поисковика.
Зачастую страницы пагинации в Яндекс можно закрыть от индексации, в Гугл же они, напротив, важны и закрывать их не нужно.
Также есть директивы которые применяются только для конкретной поисковой системы. Например, для Яндекс есть директива Clean-param, которая в Google не используется, поэтому я бы рекомендовал формировать файл robots.txt вручную и разделять директивы для разных поисковых роботов.
Для проверки корректности файла robots.txt можно воспользоваться сервисами Яндекс Вебмастер и Google Search Console. Если у вас используется директива Clean-param, то Гугл вебмастер сочтет это ошибкой, не нужно обращать на это внимание, если у вас правильно разделены директивы для Яндекс и Гугл, то это не является ошибкой.
Проверка наличия и корректности карты сайта sitemap.xml
Последней строкой в файле robots.txt должна быть указана ссылка на XML карту сайта. Копируем эту ссылку, вставляем в браузер и проверяем наличие файла. Файл должен открыться, если в сайтмап большое количество URL то открытие файла может занять некоторое время.
Отсутствие файла sitemap.xml является SEO ошибкой и её нужно исправлять!
В случае когда в роботс не указана ссылка на сайтмап, то проверить наличие XML карты сайта можно при помощи различных бесплатных сервисов для аудита сайта.
Если физически сайтмап существует, то нужно проверить добавлен ли он в Яндекс Вебмастер и Google Search Console.
В Яндекс Вебмастере, если задан файл robots.txt, то после его обработки автоматом добавится ссылка на XML карту сайта, но это может занять некоторое время. Поэтому лучше вручную добавить этот файл: «Индексация» -> «Файлы Sitemap». Если у вас несколько файлов сайтмап, то нужно добавить их все.
В Гугл консоли добавление файла осуществляется следующим образом: ищем в левом меню раздел «Файлы Sitemap» кликаем на него и далее справа в специальном поле указываем ссылку на сайтмап и нажимаем Enter. Если файлов несколько – то по очереди вводим их все.
Если Ваш сайт содержит много страниц, то делим файл сайтмап на несколько частей. Максимум файл сайтмап может содержать до 50 000 URL и быть размером не более 50 мБ.
Не забывайте проверить кодировку файла. Файл в неправильной кодировке не читается Google. Правильная кодировка файла sitemap – windows utf-8. Некоторые CMS формируют файл сайтмап в неправильной кодировке и Google не может обработать этот файл, поэтому если Гугл не может прочитать ваш файл сайтмап, то смените кодировку файла вручную.
Корректность структуры файла sitemap вы можете проверить при помощи сервиса Яндекс Вебмастер.