Из-за дублей сайты падают в поиске и теряют трафик.
Как проверить сайт на дубли внутри сайта?
При этом караются сайты не только за копирование текстов с других сайтов, но из одинаковые тексты на разных страницах сайтах.
Почему поисковые системы не любят дублирование контента?
С точки зрения поискового робота, дублирующийся страницы сайта представляют собой обычный «технический мусор» и не несут ценности для пользователей.
Как проверить сайт на дублирование контента среди его страниц?
1) Проверить файл robots.txt и сравнить его с файлом, предоставляемым CMS по умолчанию. Убедиться, что конечная версия файла robots.txt на сайте закрывает все технические дубли страниц.
2) Просмотреть просто визуально сайт и проверить, не повторяются ли тексты на страницах пагинации сайта. Текст должен присутствовать только на основной (первой) странице каталога и не должен дублироваться на второй и последующих страницах.
Пример: имеется текст на странице http://сайт.ru/catalog/.
На страницах http://сайт.ru/catalog/?page=2 , http://сайт.ru/catalog/?page=3 и так далее его уже быть не должно.
3) Проверить страницы каталогов, сформированные через фильтры. Частой ошибкой является дублирование текста с основного каталога на страницу фильтра. При обнаружении проблемы нужно или убрать текст с таких страниц, или вообще закрыть страницы фильтров от индексации.
4) Проверить товары (услуги) на дублирование текстов между карточками товаров (услуг).
Проще всего это сделать с помощью сервиса text.ru -> Seo анализ.
Сервис найдет страницу, с который был скопирован текст на проверку и покажет пересечение с другими страницами сайта:
5) В интернет-магазинах на карточках товарах часто дублируется информация об оплате и доставке.
Если это так, то оптимальным решением будет закрыть данные блоки от поисковых роботов с помощью тега <noindex></noindex>.
6) Проверить главную страницу сайта, все страницы меню и основные каталоги на предмет дублирования текстов. Можно сделать также с помощью сервиса text.ru.
7) Если на сайте есть подборка статей, нужно проверить, не дублируются ли они по другому адресу на сайте.
Как часто нужно делать проверку на дубли?
К сожалению разовой проверкой тут не обойтись. Живой сайт, на котором постоянно ведется работа, время от времени обрастает новыми техническими ошибками. Потому важно своевременно их чистить.
Оптимальным будет проведение проверки на дубли сайта раз в 3 месяца. Если на сайте очень много нового контента каждый месяц, то не лишним будет проверять сайт каждый месяц.