{"draftJsState":{"blocks":[{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Содержимое сайта условно делится на две части: публичную — ту, которую индексируют поисковые роботы и видят пользователи, и скрытую — запрещенную к индексации из-за дублирования контента или наличия конфиденциальных данных (логи сервера, страница авторизации в панели управления и т. д.). Краулеры не сами решают, какая информация является полезной и требует показа поисковой выдаче, а какая носит технический характер. Они следуют правилам индексации конкретного веб-ресурса, прописанные в коде проекта или в специальном системном файле. Более того, если веб-мастер не создаст директивы, он рискует оставить открытыми для оценки ссылки и веб-страницы, сканирование которых поисковыми роботами может навредить результатам ранжирования сайта. Разбираем в статье директивы noindex и nofollow, их назначение и правила внесения в код.","type":"unstyled","key":"aemii"},{"data":{"image":{"id":"64f75fd401dd5b2de135cdf3"}},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Изображение от rawpixel.com на Freepik. Интернет Хостинг Центр — надежный провайдер с серверами в России и Европе. Подписывайтесь на наш канал в Яндекс.Дзен и читайте новые статьи каждую неделю!","type":"atomic:image","key":"cgfrb"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Зачем нужны директивы noindex и nofollow","type":"header-two","key":"5d5c0"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Noindex и nofollow — правила для краулеров, запрещающие поисковым роботам индексировать содержимое веб-страницы и переходить по размещенным на ней ссылкам. Они эффективны в условиях переиндексации: когда контент веб-страницы уже был оценен роботами и добавлен в поисковую выдачу, и нужно ускорить повторный обход сайта, чтобы исключить эти данные из баз данных поисковых систем. Правила прописываются в виде метатегов в html-коде сайта в разделе . Если сайт новый и веб-ресурс должен быть проиндексирован впервые, для запрета сканирования в качестве альтернативы можно использовать запрещающую директиву Disallow в файле robots.txt. Выбрать предстоит один из методов управления роботами. При одновременном выполнении метатега и файла произойдет ошибка и содержимое не смотря на двойной запрет окажется в Сети.","type":"unstyled","key":"el5su"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Что noindex и nofollow значат для SEO-продвижения","type":"header-three","key":"9ru37"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Роботы могут прочитать содержимое веб-страницы с директивой noindex. Однако краулеры не добавят ее контент в индексную базу. Для SEO это значит, что административная информация сохранит конфиденциальность и сайт не попадет под фильтры поисковиков за размещение одинакового контента на нескольких веб-страницах.","type":"unstyled","key":"32idm"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Яндекс разрешает исключить из индексации не всю веб-страницу, а ее часть. Для этого меняем мета-тег noindex на тег noindex. Данный метод используют, когда на сайте помимо авторского текста нужно разместить, например, цитату.","type":"unstyled","key":"bel0i"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чтобы запретить краулерам переходить по всем ссылкам, которые есть на странице (внутренним и внешним), выбирают директиву nofollow. Когда существует необходимость в закрытии отдельных ссылок применяют атрибут rel=\"nofollow\" тега <а>. С помощью закрытия ссылок атрибутом nofollow можно избежать потери ссылочного веса веб-ресурса, санкций поисковых систем за размещение на сайте рекламы и низкой оценки качества контента из-за ссылок, оставленных пользователями в комментариях.","type":"unstyled","key":"eamr2"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для чего используют директиву noindex","type":"header-two","key":"1ooum"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Благодаря директиве noindex на сайте можно поместить отрывок контента, взятого из другого источника. Например, данные исследований, которые будут интересны вашим посетителям. Краулер учтет релевантность веб-страницы и уровень оригинальности его содержимого, но не будет добавлять в базу данных поисковой системы дублированный контент.","type":"unstyled","key":"d7lc8"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Какой контент можно скрыть таким способом","type":"header-three","key":"ee66e"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Таким образом избегают индексации служебного текста, дословных цитат и текста, который повторяется от страницы к странице, текст анкора.","type":"unstyled","key":"70ov4"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Для чего используют директиву nofollow","type":"header-two","key":"898qc"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Nofollow позволяет веб-мастеру управлять ссылочным весом и сайта и уровнем доверия к нему поисковых систем. Задачи, решаемые директивой:","type":"unstyled","key":"75a8l"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"исключение из оценки качества внешней ссылки, ведущей на источник данных, надежность которого нет возможности проверить;","type":"unordered-list-item","key":"bk2d6"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"закрытие ссылки, ведущей на рекламный материал;","type":"unordered-list-item","key":"bej8q"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"направление краулеров только по полезным ссылкам, исключая те, которые ведут на форму регистрации и другие страницы, на которых нет полезного контента;","type":"unordered-list-item","key":"6m7a"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"сохранение ссылочного веса;","type":"unordered-list-item","key":"arrmg"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"перераспределение ссылочного веса.","type":"unordered-list-item","key":"ea7oa"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Как правильно вставить атрибут в код","type":"header-two","key":"bju3r"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Директивы имеют свое место в коде и правила записи. Если речь идет о мета-тегах, то они располагаются в разделе . Если директива прописывается для всех поисковых роботов, то в мета-теге не нужно перечислять их названия, достаточно указать общее значение \"robots\". Запрет на индексацию и сканирование ссылок будет выглядеть следующим образом:","type":"unstyled","key":"6q5o"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":".","type":"unstyled","key":"c1kde"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Когда проект продвигается в конкретном поисковике, уточняется имя бота, которому даются указания. Запрет на индексирование страниц примет следующий вид:","type":"unstyled","key":"acs5s"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"unstyled","key":"ot6s"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Тег для закрытия части контента понимает только Яндекс, для Google код будет невалидным:","type":"unstyled","key":"7182v"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"контент, который необходимо закрыть для индексации","type":"unstyled","key":"1n65c"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Чтобы избежать ошибок с валидацией, выбирают следующую форму записи кода:","type":"unstyled","key":"5u78c"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"текст, который следует скрыть от индексации","type":"unstyled","key":"deh87"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Когда задачей кода является запрет переноса ссылочного веса, используется атрибут","type":"unstyled","key":"etgqe"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"rel=\"nofollow”.","type":"unstyled","key":"71bhs"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Распространённые ошибки в работе с директивами","type":"header-two","key":"6gmkf"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Самыми распространенными ошибками в работе с директивами являются попытки закрытия ссылок с помощью одного из тегов: или . Это не правильно по двум причинам:","type":"unstyled","key":"2meni"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"тег не используется для закрытия ссылки от индексации ссылку, вместо него применяется атрибут rel или директива в meta robots со значением nofollow;","type":"unordered-list-item","key":"avk1h"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"тег не может закрыть от индексации ссылку, единственный результат, к которому приведет код — запрет на индексацию анкора ссылки в Яндексе.","type":"unordered-list-item","key":"2h0sv"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Заключение","type":"header-two","key":"e2h5"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"Noindex и nofollow — директивы, необходимые сайту для управления своей репутацией в поисковых системах и ссылочным весом.","type":"unstyled","key":"558uo"},{"data":{},"depth":0,"entityRanges":[{"key":0,"length":22,"offset":0}],"inlineStyleRanges":[{"length":110,"offset":0,"style":"BOLD"}],"text":"Интернет Хостинг Центр — платный хостинг для проектов любой сложности. Защита от DDoS-атак на каждом тарифе! \uD83D\uDD12","type":"unstyled","key":"fll0e"},{"data":{},"depth":0,"entityRanges":[],"inlineStyleRanges":[],"text":"","type":"marker","key":"SWsWMuIkxk8JT4aUCJEC"}],"entityMap":{"0":{"data":{"url":"https://www.ihc.ru/?utm_source=yandex-zen&utm_medium=article&utm_campaign=nofollow-i-noindex-kak-i-v-kakikh-sluchayakh-ispolzovat"},"mutability":"MUTABLE","type":"LINK"}}},"mentions":[]}