Содержимое сайта условно делится на две части: публичную — ту, которую индексируют поисковые роботы и видят пользователи, и скрытую — запрещенную к индексации из-за дублирования контента или наличия конфиденциальных данных (логи сервера, страница авторизации в панели управления и т. д.). Краулеры не сами решают, какая информация является полезной и требует показа поисковой выдаче, а какая носит технический характер. Они следуют правилам индексации конкретного веб-ресурса, прописанные в коде проекта или в специальном системном файле. Более того, если веб-мастер не создаст директивы, он рискует оставить открытыми для оценки ссылки и веб-страницы, сканирование которых поисковыми роботами может навредить результатам ранжирования сайта. Разбираем в статье директивы noindex и nofollow, их назначение и правила внесения в код.
Зачем нужны директивы noindex и nofollow
Noindex и nofollow — правила для краулеров, запрещающие поисковым роботам индексировать содержимое веб-страницы и переходить по размещенным на ней ссылкам. Они эффективны в условиях переиндексации: когда контент веб-страницы уже был оценен роботами и добавлен в поисковую выдачу, и нужно ускорить повторный обход сайта, чтобы исключить эти данные из баз данных поисковых систем. Правила прописываются в виде метатегов в html-коде сайта в разделе <head>. Если сайт новый и веб-ресурс должен быть проиндексирован впервые, для запрета сканирования в качестве альтернативы можно использовать запрещающую директиву Disallow в файле robots.txt. Выбрать предстоит один из методов управления роботами. При одновременном выполнении метатега и файла произойдет ошибка и содержимое не смотря на двойной запрет окажется в Сети.
Что noindex и nofollow значат для SEO-продвижения
Роботы могут прочитать содержимое веб-страницы с директивой noindex. Однако краулеры не добавят ее контент в индексную базу. Для SEO это значит, что административная информация сохранит конфиденциальность и сайт не попадет под фильтры поисковиков за размещение одинакового контента на нескольких веб-страницах.
Яндекс разрешает исключить из индексации не всю веб-страницу, а ее часть. Для этого меняем мета-тег noindex на тег noindex. Данный метод используют, когда на сайте помимо авторского текста нужно разместить, например, цитату.
Чтобы запретить краулерам переходить по всем ссылкам, которые есть на странице (внутренним и внешним), выбирают директиву nofollow. Когда существует необходимость в закрытии отдельных ссылок применяют атрибут rel="nofollow" тега <а>. С помощью закрытия ссылок атрибутом nofollow можно избежать потери ссылочного веса веб-ресурса, санкций поисковых систем за размещение на сайте рекламы и низкой оценки качества контента из-за ссылок, оставленных пользователями в комментариях.
Для чего используют директиву noindex
Благодаря директиве noindex на сайте можно поместить отрывок контента, взятого из другого источника. Например, данные исследований, которые будут интересны вашим посетителям. Краулер учтет релевантность веб-страницы и уровень оригинальности его содержимого, но не будет добавлять в базу данных поисковой системы дублированный контент.
Какой контент можно скрыть таким способом
Таким образом избегают индексации служебного текста, дословных цитат и текста, который повторяется от страницы к странице, текст анкора.
Для чего используют директиву nofollow
Nofollow позволяет веб-мастеру управлять ссылочным весом и сайта и уровнем доверия к нему поисковых систем. Задачи, решаемые директивой:
- исключение из оценки качества внешней ссылки, ведущей на источник данных, надежность которого нет возможности проверить;
- закрытие ссылки, ведущей на рекламный материал;
- направление краулеров только по полезным ссылкам, исключая те, которые ведут на форму регистрации и другие страницы, на которых нет полезного контента;
- сохранение ссылочного веса;
- перераспределение ссылочного веса.
Как правильно вставить атрибут в код
Директивы имеют свое место в коде и правила записи. Если речь идет о мета-тегах, то они располагаются в разделе <head>. Если директива прописывается для всех поисковых роботов, то в мета-теге не нужно перечислять их названия, достаточно указать общее значение "robots". Запрет на индексацию и сканирование ссылок будет выглядеть следующим образом:
<meta name="robots" content="noindex, nofollow"/>.
Когда проект продвигается в конкретном поисковике, уточняется имя бота, которому даются указания. Запрет на индексирование страниц примет следующий вид:
<meta name="googlebot" content="noindex, follow"/>
Тег <noindex> для закрытия части контента понимает только Яндекс, для Google код будет невалидным:
<noindex>контент, который необходимо закрыть для индексации</noindex>
Чтобы избежать ошибок с валидацией, выбирают следующую форму записи кода:
<!--noindex-->текст, который следует скрыть от индексации<!--/noindex-->
Когда задачей кода является запрет переноса ссылочного веса, используется атрибут
rel="nofollow”.
Распространённые ошибки в работе с директивами
Самыми распространенными ошибками в работе с директивами являются попытки закрытия ссылок с помощью одного из тегов: <nofollow> или <noindex>. Это не правильно по двум причинам:
- тег <nofollow> не используется для закрытия ссылки от индексации ссылку, вместо него применяется атрибут rel или директива в meta robots со значением nofollow;
- тег <noindex> не может закрыть от индексации ссылку, единственный результат, к которому приведет код — запрет на индексацию анкора ссылки в Яндексе.
Заключение
Noindex и nofollow — директивы, необходимые сайту для управления своей репутацией в поисковых системах и ссылочным весом.
Интернет Хостинг Центр — платный хостинг для проектов любой сложности. Защита от DDoS-атак на каждом тарифе! 🔒
