Ситуация не самая приятная: быстро сканировать сайт с помощью поисковых роботов возможно, но добавление страниц в индекс не оправдывает надежд. Не все страницы сервиса попадают в базу систем поиска. Некоторые уничтожаются. Из-за этого происходит разделение сайта по данным, которые прошли индексацию. При попадании в индекс только целевых страниц, всё равно, проблемы индексации оказывают отрицательное действие на место сайта в выдаче.
Мы оформили чек-лист, с помощью которого можно произвести быструю оценку видимости страниц индекса и их количество.
При правильном управлении индексацией возможно выбрать наилучшие расходы краулингового бюджета (числа страниц, которые робот поисковик может просканировать за определенный промежуток времени). Для этого выполняется индексирование в автоматическом режиме только нужных страниц для продвижения.
Панели веб-мастеров
В инструменте Google Search Console требуется проверить «Статус индексирования» в категории «Индекс».
Чтобы посмотреть удалённые страницы, которые прошли индексацию с успехом или с непредвиденной ошибкой, можно открыть отчет «Покрытие» и проверить.
Если вы хотите проверить сайт через инструмент Яндекса, например, в "Вебмастере", то нужно открыть «Индексирование сайта», далее, нажать на категорию «Страницы в поиске», и зайти в "Историю", чтобы получить динамику количества страниц в поиске.
Ручная проверка: операторы поиска
Уточнить выводы поиска можно при помощи операторов поиска, например, «site:» - он показывает перечень всех страниц, прошедших индексацию. Для использования параметра, нужно в поисковик Google или в Yandex ввести «site:[url сайта]». Получить в точности все данные в системе Google можно, перейдя на последнюю страницу в поисковике. Разница в данных является индикатором проблем на сервисе.
Cache – оператор, проверяющий частоту посещаемости поисковым ботом вашего сайта. Понадобится произвести настройку инструментов поиска для просмотра информации об индексации.
Автоматическая проверка с использованием плагинов и букмарклетов
Букмарклеты — скрипты. Они остаются в браузерных закладках. Работают плагины и букмарклеты одинаково: нужно открыть сайт, чтобы осуществить проверку и призвать на помощь закладку в браузере. В итоге, можно получить нужные данные за один раз, просто кликнув, ничего не вписывая и не производя настроек.
Специальные сервисы для проверки
С помощью них можно облегчить работу SЕО-специалистов: сервисы обеспечивают проверку индексации, выявляют проблемы. Примеры таких сервисов: Rush Analytics, Netpeak Spider. Дополнительно к страницам, прошедшим индексацию, можно получить код ответа, а также заголовки, метаописания и прочее.
Причины, из-за которых может быть выпадение страниц из индекса и способы решения проблемы:
- Недавний запуск сервиса. Индексирование сервиса, который появился совсем недавно может занять продолжительное время. Чтобы ускорить процесс, нужно пройти процедуру регистрации в «Add url», установить сайт в перечне, проставить ссылки с сервисов, соцсетей ("Вконтакте", Facebook, Twitter, "Одноклассники").
- Отсутствие карты сайта. Главной ролью карты сайта (sitemap.xml) является: сообщение поисковикам о произошедших переменах на ресурсе и задача частоты проверки. Эти карты обеспечивают эффективное, быстрое индексирование сайта с лучшей скоростью обхода. Проверка sitemap осуществляется в системе URL через Search Console.
- Индивидуальная конфигурация Wordpress. В конфигурации чтения можно найти галочку, которая стоит в пункте видимости для поисковых систем Google и Yandex – её нужно убрать.
- Непреднамеренное отклонение в метатегах в структуре кода.
Примечание: для нахождения всех страниц с "noindex" нужно выполнить анализ характеристик ресурса на сайте для обнаружения ошибок через Ahrefs: следует внимательно посмотреть сообщения, предупреждающего характера, в отчете «внутренних страниц». Чтобы исправить эту ошибку, потребуется произвести замену элементов на «index» и «follow».
Рекомендации
Для повышения скорости индексации, нужно почаще обновлять сайт. Мы советуем это делать три раза в 7 дней. Рекомендуется собирать все данные о страницах, которые прошли индексацию, о динамике их индексации, смотреть за новинками и индексированием сайта для своевременного решения проблем, предотвращения нежелательных явлений.
Проблемы с индексацией? Мы поможем вывести ваш сайт в ТОП с гарантией получения дохода! Оставьте заявку у нас на сайте.