Индексация страниц сайта в поисковиках - это постоянная проблема вебмастеров. Особенно актуально это для больших сайтов с тысячами, а то и миллионами страниц.
Поисковики не могут и не хотят индексировать абсолютно все страницы сайтов, т.к. очень часто у большинства присутствует куча так называемых мусорных страниц. Это могут быть дубли, различные фильтры, урлы с динамическими параметрами и прочее. Все это для поисковых систем просто мусор, который не имеет трафикового потенциала.
Краулинговый бюджет
У каждого сайта есть лимит (краулинговый бюджет) на сканирование страниц в определенный промежуток времени. Т.е. если робот поисковика (краулер) обходит за день тысячу страниц, то ваш краулинговый бюджет за месяц - 30 000 страниц.
Посмотреть примерно бюджет можно в логах или вебмастере поисковых систем.
Вообще это отдельная тема, а сейчас важно понимать, что часто бывает проблема, когда краулингового бюджета не хватает и нужные страницы не индексируются.
Как заставить поисковых роботов просканировать нужные страницы?
Яндекс
В Яндексе, на мой взгляд, все достаточно проще, чем в гугле. Ниже указаны основные методы ускорения индексации страниц:
Файл sitemap.xml
С помощью этого файла можно указать роботу все необходимые для обхода и индексации страницы сайта. Но это не означает, что поисковик все эти страницы обойдет и проиндексирует.
Вот рекомендации по формированию сайтмап от Яндекса
Далее рекомендуется добавить sitemap в вебмастер, если путь к файлу у вас не указан в robots.txt
Файл robots.txt
Закрывайте мусорные страницы от поисковых роботов, таким образом вы можете экономить краулинговый бюджет. Правда это не всегда работает на 100%. Поисковые системы могут индексировать и запрещенные страницы, если посчитают их полезными для пользователей (Гугл любит так делать. Для закрытия тогда нужно использовать meta noindex).
Принудительный переобход страниц
В Яндекс вебмастере есть принудительный переобход страниц.
В зависимости от параметра ИКС вашего сайта выделается лимит на количество просканированных страниц в день. У меня ИКС 10 и лимит - 30 урлов в день на основной сайт и все поддомены
Просто берете список урлов, которые вам необходимо проиндексировать добавляете в инструмент и нажимаете кнопку "Отправить"
Html карта сайта
Можно создать html карту сайта, где указать ссылки на все значимые страницы. Не стоит добавлять туда сотни тысяч страниц, поисковики такое не любят.
Обход по счетчикам
Полезная фишка от Яндекса.
Подробно, как все подключать написано здесь
Я недавно писал, как я подключал все поддомены для обхода по счетчикам. Дело достаточно муторное и долгое, посмотрим, что это даст. Но не забывайте следить за страницами, которые там индексируются. Часто всплывает очень много мусора, который нужно закрывать от индексации.
Ссылки и перелинковка
Перелинковка работает и в Яндексе и Гугле, но гугл реагирует на нее лучше. Внешние ссылки могут положительно влиять на индексацию страниц, на которые они проставлены. Здесь главное не перестараться, да и если тысячи страниц не в индексе, то устанешь на все закупать ссылки.
Внутренние ссылки в отличие от внешних бесплатны, поэтому делайте грамотно перелинковку. На самые важные разделы и страницы старайтесь проставлять ссылки с главной страницы или из меню. Можно создавать специально так называемые хабовые страницы, которые тоже помогают ускорить индексацию.
Так же можно закупать ссылки в социальных сетях. Раньше это точно работало, сейчас не так прям однозначно.
Index Now
Я писал ранее про новый инструмент от Яндекса и Bing. По сути, это аналог Google indexing api (о нем чуть ниже).
Индексация в Google
В Гугле, как и в Яндексе работает ускорение индексации через - sitemap.xml, html карту сайта, перелинковку и закупку ссылок.
Google Search Console
В Google Search Console есть возможность принудительной индексации страниц сайта
Заходим в консоль и в самом верху видим поисковую строку
Добавляем туда нужный нам урл и нажимаем enter
Видим информацию о странице и справа кнопку "Запросить индексирование". Если страница не в индексе, нажимаем на эту кнопку и в ближайшее время страница должна будет попасть в индекс, если гугл сочтет страницу нужной для индексации.
Google indexing api
С помощью Indexing API можно сообщить Google, какие страницы нужно повторно проиндексировать или удалить.
Но подходит это не для всех сайтов
Есть интересная тема - индексировать 200 URL в Google каждый день через Indexing API
Я пробовал, работает. Правда через некоторе время гугл может выкинуть страницы, которые он посчитает неинтересными для пользователя.
Сторонние сервисы
Различные сервисы для ускорения индексации, которые подходят для Яндекса и Гугла
Помимо вышеуказанных способов, есть еще различные сервисы полезность которых можете проверить сами.
Сервис indexme.site - по утверждению авторов помогает быстро и бесплатно просканировать страницы в поисковиках. Сам лично пробовал, сложилось двоякое впечатление, вроде бы частично это работает, но далеко не всегда.
Плагин Indexer для Google Chrome, подходит для Яндекс браузера. Сам лично пробовал плагин. Здесь тоже нет однозначного мнения, работает или нет. Пробуйте сами.
Инструменты, которые я не пробовал, но вроде они как поддерживают индексацию:
- http://www.indexification.com/
- http://www.instantlinkindexer.com/
- https://black-star.link/
На этом все, если я что то пропустил, пишите в комментариях, интересен ваш опыт.