В официальном блоге для вебмастеров Яндекс рассказал, что относит к дублям страниц, и дал рекомендации, что с ними делать.
Дубли страниц для Яндекса
Дублированными Яндекс считает страницы с идентичным или очень похожим контентом. Наличие таких страниц негативно сказывается на сайт в поиске.
Основные риски дублированных страниц:
- замедленная индексация важных для сайта/бизнеса страниц — робот не определяет и не исключает дубли, обходит каждую страницу наравне. Роботу требуется больше времени на обход;
- до того, как алгоритм признает страницы дублирующимися, они могут конкурировать в поиске;
- сложность сбора и аналитики данных, так как поиск показывает только одну страницу из группы дублей. Но может менять ее с обновлением базы. На выбор показываемой в поиске страницы влияют сотни факторов, повлиять на это невозможно.
Почему на сайте появляются дубли
Дублированные страницы появляются из-за технических ошибок или неверных настроек:
- CMS создает страницы как с ЧПУ, так и сохраняет страницу с техническим URL;
- некорректная настройка относительных ссылок приводит к появлению ссылок по адресам, которых физически не существует, но они отдают тот же контент, что и основные страницы сайта;
- ссылки с незначащими GET-параметрами, к примеру, для отслеживания переходов из определенного источника трафика;
- слеш и его отсутствие в конце ссылки. Для поиска https://example.com/page_1 и https://example.com/page_1/ — это разные ссылки.
Дублированными Яндекс также сочтет страницы с разными изображениями, но одинаковым текстом.
Как найти и что делать с дублями страниц
Яндекс упрощает задачу по поиску дублей. В Вебмастере в разделе Диагностика отображаются уведомления про большую часть дублей на сайте. Сообщение приходит с задержкой до 3 дней, это обусловлено сбором и обработкой необходимых данных. Иногда уведомление может приходить про уже исправленные страницы.
Также можно находить дубли страниц самостоятельно. Для этого в Я.Вебмастере необходимо:
- перейти на вкладку Индексирование;
- открыть раздел Страницы в поиске;
- в правой части кликнуть Исключенные.
В правом нижнем углу появится ссылка на скачивание таблицы. У дублированных страниц будет статус DUPLICATE.
Яндекс признает дублями не все страницы, на которых имеется идентичный контент. Такое может быть потому, что в момент индексации содержимое страниц отличалось либо на странице часть контента динамически обновляется, вследствие чего поисковая система при сканировании может каждый раз получать разные версии страницы. Чаще всего это относится к страницам с обновляемой лентой похожих товаров. Если вы знаете, что определенные страницы являются дублями, то стоит оставить в поиске только основные страницы.
Как выбрать, какую страницу оставить в поиске: алгоритм Яндекса
Для “мусорных” страниц Яндекс предлагает такие решения:
- запретить индексирование дублированных страниц через файл robots.txt с директивой Disallow
- применение метатега noindex для страниц, индексирование которых нельзя ограничить при помощи robots.txt
- настроить HTTP-код ответа 403/404/410 — наименее предпочтительный метод, так как на такие страницы смогут попадать пользователи, если на них ведут внешние и внутренние ссылки
Для дублей Яндекс предлагает использовать:
- атрибут rel=canonical
В последнем случае Яндекс предупреждает, что если страницы будут отличаться, либо их содержимое будет часто обновляться, то они обе могут попадать в выдачу.
Для ссылок со слешем Яндекс указывает, что основной можно выбрать любую. Для индексирования нет особой разницы. Для таких случаев лучше использовать 301 редирект.
Обратные ситуация: Яндекс признает дублями отличающиеся страницы
Случается так, что алгоритм признает дублями отличающиеся страницы, часть контента которых совпадает. Причина в шаблоне сайте и большом объеме шаблонного текста: меню навигации, футер сайта. Для решения таких ситуаций Яндекс предлагает следующие решения:
- изменить основной текстовый контент, чтобы страницы стали отличаться еще больше;
- добавить возможность комментирования на страницу;
- использовать noindex для шаблонных частей сайта.
Если Яндекс признает дублями страницы товаров, которые отличаются только изображениями, но цена и текстовое описание одинаковые, то в таком случае поиск рекомендует изменить структуру сайта, так как такие страницы не смогут отображаться в выдаче по релевантным запросам.
Больше рекомендаций по работе с дублями в Яндексе на странице Справки.