Чтобы избавиться от дублей страниц, необходимо их найти, а это может стать весьма кропотливой работой. Чтобы упростить себе задачу, можно воспользоваться программой поиска Screaming Frog, благодаря которой можно находить даже страницы, дублирующие друг друга на 70-80%. Подробная инструкция ниже поможет во всем разобраться.
Видеоинструкция
Как найти похожие страницы на сайте (дубли)
Заходим на вкладку «Конфигурации» (Configurations). В выпавшем списке находим опцию Content и переходим на опцию Duplicates.
В открывшемся диалоговом окне вы увидите две опции. Отмечаем нижнюю строчку – Enable Near Duplicates. Далее нам потребуется установить порог схожести для страниц-дубликатов, которые мы ищем (Near Duplicates Similarity Threshold). Программа рекомендует устанавливать значение в 80-90%, но можно выставить и меньше для более эффективного поиска.
Когда опции выставлены, запускаем парсинг сайта. Щелкаем по стрелке в правом верхнем углу и переходим в раздел Контент (Content).
В открывшемся списке в правом верхнем углу щелкаем по строке Near Duplicates. После этого в основном окне появится список ссылок на страницы с указанием степени схожести страниц-дубликатов. Ссылки расставлены по убыванию – от 100% схожести.
Щелкнув по нужной ссылке, мы отправляем ее в нижнее левое окно. После чего, кликнув по ней еще раз, мы переходим в настройки страницы. Открыв две и более страниц подобным образом, можно увидеть одинаковые или похожие элементы, которые и делают их дублями.
Однако если сайт слишком большой, поиск дублей даже в таком режиме может занять много времени. Если вам нужно просто увидеть количество дублей в целом, можно действовать по-другому. Выставьте большее значение порога схожести. В верхнем меню выбираем пункт Crawl Analytics и кликаем по опции Configure в выпадающем списке.
Смотрим, выставлен ли флажок напротив раздела Content. Наличие флажка говорит о постоянном анализе контента. Если нет, отмечаем его и нажимаем Start.
Снова проверяем результаты в разделе Near Duplicates справа. Там их будет уже меньше, так как программа выдаст только страницы с большей степенью схожести.
Как отключить учет какого-либо блока на сайте при поиске дублей
Причины неуникальности страниц чаще всего заключаются в наличии важных сквозных блоков – шапки страницы, популярных товаров и так далее.
Если нужно проверить только переменную часть контента, это делается следующим образом. Снова переходим в раздел Content и выбираем раздел Area в выпадающем списке.
В открывшемся окне видим два режима – Include (Включить) и Exclude (Исключить). Сделать это можно по тегам, классам и ID.
Для примера посмотрим на сайте какой блок хранит в себе список популярных товаров.
Возвращаемся в раздел Area, вставляем класс или тег блока, который хотим исключить и выбираем Exclude.
Снова переходим в Crawl Analytics и проверяем наличие дублей по уже установленным параметрам. Если параметры выставлены правильно, исключенные блоки не будут отображаться при проверке настроек в нижнем поле.
Источник: https://seopulses.ru/kak-nahodit-dubli-na-sajte-pri-pomoshchi-screaming-frog-seo-spider/
Подписывайтесь на наш Telegram-канал
Подписывайтесь на наш Youtube-канал
Подписывайтесь на нашу группу ВКонтакте
