Мета-тег Robots– важный тег, который помогает сайту взаимодействовать с поисковыми роботами. С его помощью можно:
- запретить или разрешить индексацию страниц сайта,
- запретить сканирование отдельных страниц и каталогов сайта,
- запретить переход по ссылкам на веб-странице.
Для того, чтобы поисковые боты корректно выполняли инструкции мета-тега – его важно заполнить правильно.
Мета-тег должен быть размещен в блоке <head> страницы и содержать два обязательных атрибута Name и Content. В атрибуте Name может указываться значение «robots», если инструкция предназначена для всех поисковых роботов.
Атрибут Content включает в себя директивы, которые понимают и выполняют поисковые боты:
- noindex – не индексировать страницу,
- nofollow – не переходить по ссылкам на странице,
- none – не индексировать и не переходить по ссылкам,
Также директивы можно комбинировать между собой через запятую.
Помимо стандартных директив, существуют специальные инструкции для ботов Яндекса и Google, об этом подробнее написано тут.
Следует внимательно использовать данный мета-тег, потому что ошибки в нем могут привести к непопаданию страницы в выдачу.
Важные советы при использовании мета-тег Robots:
- избегайте конфликтов между значениями мета-тега Robots и директивами файла robots.txt,
- запрещайте индексирование только тех страниц, которые не должны быть в результатах поиска (виртуальная корзина, результаты поиска по сайту, дубли страниц)