Приветствую, друзья! Сегодня небольшой пост про правильную работу с пагинацией в агрегаторах.
Как вы уже знаете, я занимаюсь разработкой и продвижением GuruHelp — агрегатора сервисных центров с адресами, ценами и отзывами.
Для тех, кому незнакомо слово пагинация — это разделение большого объема контента на страницы (от английского page — страница). Пример можете видеть на скриншоте снизу.
Логика поисковых систем следующая: они на вход получают sitemap — карту сайта и используют её как рекомендацию к обходу роботом страниц для анализа контента. Карта сайта (sitemap) — это специальным образом созданная техническая XML страница, в которой перечисляются все необходимые с вашей точки зрения ссылки для индексации (процесс обхода поисковыми роботами сайта, анализ их содержимого и включения в поиск по ключевым словам для этой страницы).
Так как Sitemap носит рекомендательный характер для ПС (поисковая система), то робот последовательно обходит все страницы и далее все страницы на которые есть ссылка на текущей, то есть полностью перебирает весь сайт. Поэтому очень важно при проектировании любого сайта изначально для себя набросать структуру, чтобы не создавались дубли страниц, не создавались «мусорные» малоинформативные страницы.
Вернёмся к нашим баранам, а точнее к страницам пагинации.
Пример: основная страница(раздел) имеет url адрес: https://ghelp.ru/remont-telefonov/,
а страница 2 имеет адрес соответственно https://ghelp.ru/remont-telefonov/?page=2 и так далее, пока не переберутся все страницы этого раздела.
Перед всеми специалистами встаёт вопрос, а какая страница попадёт в поиск?
Ниже приведу небольшую выдержку из официального блога Яндекса на этот счет.
Что делать со страницами пагинации и сортировки товаров?
Если в какой-либо категории на вашем сайте находится большое количество товаров, могут появиться страницы пагинации (порядковой нумерации страниц), на которых собраны все товары данной категории. Если на такие страницы нет трафика из поисковых систем и их контент во многом идентичен, то советую настраивать атрибут rel="canonical" тега <link> на подобных страницах и делать страницы второй, третьей и дальнейшей нумерации неканоническими, а в качестве канонического (главного) адреса указывать первую страницу каталога, только она будет участвовать в результатах поиска.
Вторая часть вопроса связана со страницами сортировки, например, по цене, популярности или характеристикам. Чтобы разобраться с этой частью, необходимо понять, нужны ли такие страницы в результатах поиска, отвечают ли они в полной мере на запросы пользователей. Если страницы не отвечают на запросы пользователей поисковой системы, их лучше закрыть с помощью соответствующих правил в Вашем robots.txt, оставив для посещения роботом только действительно необходимые страницы.
То есть, если вы такие наивные доверились официальной позиции Яндекса и не закрыли от индексации страницы пагинации, а лишь использовали атрибут rel="canonical" тега <link> , который устанавливается на всех страницах и указывает основную, то есть в нашем случае данный тег стоит на все страницах категории и указывает на основную.
Советы разных специалистов разнятся, кто-то говорит, что такие страницы нужно закрывать от индексации путем прописывания<meta name="robots" content="noindex,follow" />, кто-то говорит, что ничего не нужно делать и достаточно указать каноническую ссылку на основную страницу категории, как в примере выше, то есть фактически это позиция самого Яндекса.
Мы в своё время изучив много рекомендаций от ведущих экспертов в продвижении, прочитав много мануалов от поисковых систем решили, что не будем закрывать страницы пагинации от поисковика, пусть индексирует мы же указали основную ссылку, которую хотим видеть в поиске.
Но, ВНИМАНИЕ!
На днях начал замечать следующее: в поиск начали попадать страницы массово с пагинацией.
Я просто схватился за голову, но как же так? Мы же так не договаривались #яндекс Что ты такое творишь? В поиске мы ждем страницу основную https://ghelp.ru/apple/iphone/iphone-11 , а не https://ghelp.ru/apple/iphone/iphone-11/?page=37
Ради справедливости отмечу, что и основная страница в поиске. Однако, специфика агрегатора состоит в том, что доход от его деятельности в основном получается от платного ранжирования сервисов, то есть на первых местах ты показываешь частично, проплаченные сервисные центры, то есть для тебя важно, чтобы страница входа была первая страница.
К тому же, если не совершить быстрых и экстренных действий, то есть высокий шанс в дальнейшем нарваться на «дубли» страниц и вообще вылететь из поиска с этими страницами.
Я решил все-таки обратиться в службу поддержки Яндекса со своим ФИ и разузнать что за «пьяное» поведение робота Яндекса.
Ответ говорит сам за себя. Но как раз суть в том, что страницы не очень различаются, так как на страницах общие теги, а лишь разные сервисы выводятся на разных страницах, к тому же у нас реализована система fairplay, согласно которой сервисы между собой ранжируются согласно тарифным в случайном порядке, чтобы у всех были одинаковые условия игры внутри каталога.
В ответ я поинтересовался, какой путь предстоит после закрытия таких страниц от индекса. Ответ неутешительный — несколько недель.
Опять же — это потерянное время и нервы!
Вот такая вот подлянка от «пьяного» робота Яндекса. Кстати, чаще всего в индекс начали попадать последние страницы пагинации, то есть если в разделе у тебя 40 страниц, то чаще всего попадает именно 40 страница — случайность? Не думаю. Всё-таки это ошибка робота. Ну а Яндекс что, Яндекс- самоизолировался :)) ?
p.s. Совет всем — закрывайте страницы пагинации от индексации кто бы вам что ни говорил.
Надеюсь кому-то помог в будущем не совершить нашу ошибку.
