Владельцам сайтов важно иметь базовые знания по файлу robots.txt. В нем указывается, какие страницы на сайте можно индексировать, а какие – нет.
robots.txt находится по адресу: https://site.ru/robots.txt, где вместо site.ru будет адрес вашего сайта.
Правила составления robots.txt:
1. Укажите два блока команд: для всех роботов поисковых систем (User-agent: *) и для роботов Яндекс отдельно (User-agent: Yandex). Сделайте это, даже если команды в них одинаковые.
2. Закройте от индексации технические страницы сайта с помощью директивы Disallow, например, для страницы административной панели так: Disallow: /admin/
3. Укажите адрес карты сайта sitemap.xml, например: https://site.ru/sitemap.xml
4. Директиву Host, указывающую главное зеркало сайта, не ставьте. Она официально перестала работать в 2018 году.
Разберем robots.txt на примере сайта https://ecoline.su/. Заходим по адресу https://ecoline.su/robots.txt и видим следующую информацию:
1 – начало блока с командами для роботов Яндекса.
2 – запрет индексации для страниц административной панели (Disallow: /admin/) и корзины (Disallow: /cart/view).
3 – запрет индексации для страниц с различными переменными в Url-ах. Как правило, такие страницы являются полными или частичными дублями таких же страниц, но без переменных. Поэтому закрываем их от индексации.
Выделенные части файла под цифрами 1-3 вместе образуют блок команд для роботов поисковой системы Яндекс.
4 – блок команд для остальных роботов поисковых систем.
5 – адрес sitemap.xml.
Важное уточнение: файл robots.txt не является жесткой инструкцией для роботов поисковых систем (особенно для Google). Часто страницы попадают в индекс поисковых систем, несмотря на запрет индексации в robots.txt.
Если ненужные страницы продолжают индексироваться, попросите программиста указать в их коде HTML следующую команду: <meta name="robots" content="noindex, follow" /> Это мета-тег robots (не путайте с файлом robots.txt), который дает жесткую команду на запрет индексации.
Теперь вы знаете, как составить файл robots.txt, и что делать, если не все его команды исполняются роботами поисковых систем.
Остались вопросы по SEO? Напишите мне!