Основная задача Google — сократить количество индексируемых страниц. Решение об обходе страниц зависит от множества факторов. Качество контента — один из важнейших параметров переобхода и индексации сайта.
В социальных сетях Гари Илш неоднократно указывал, что Google разрабатывает механизмы сокращения количества страниц, которые подлежат индексации. При этом количество индексируемых страниц остается примерно таким же. Это связано а растущими темпами появления нового контента. Именно поэтому необходимо более взвешенное планирование и фокус внимания на страницах, которые с большей вероятностью заслуживают сканирования.
В SEO-кругах есть такое понятие как “краулинговый бюджет”. Оно предполагает, что сайту нужно сохранять определенное количество страниц, чтобы поисковые системы могли ежедневно сканировать страницы для индексирования. Но в действительности все работает несколько иначе.
Как работает краулинговый бюджет: объяснение Google
Google называет это понятие краулинговым лимитом:
Если поисковый спрос снижается, краулинговый лимит также снижается.
Тогда как поиск не объясняет, что подразумевается под поисковым спросом, суть утверждения сводится к следующему:
Если снижается количество тематических запросов, Google может реже сканировать сайты, принадлежащие к данной тематике. Илш также говорит о необходимости доказать поисковой системе, что сайт заслуживает внимания:
Если вы хотите увеличить объем сканирования, вам нужно каким-то образом убедить поиск в том, что ваш контент заслуживает внимания.
Это напрямую зависит от качества контента.
Как качество контента влияет на сканирование и индексирование
Ранее Google опровергал миф о наличии каких-либо краулинговых лимитов. Сканирование динамично и напрямую зависит от качества контента.
Ресурсы Google не безграничны. Невозможно просканировать все страницы каждый раз, когда бот посещает сайт. Для крупных сайтов Google создал руководство, в котором собраны основные рекомендации, как управлять лимитом на сканирование.
Руководство будет полезно тем сайтам, новые страницы которых долго не попадают в индекс.
Существует лимит на сканирование, который определяет, сколько времени и ресурсов робот Googlebot может затратить на один сайт. Учитывайте, что не все просканированные страницы сайта индексируются. Google их анализирует, объединяет и определяет, нужно ли их добавлять в индекс.
Google отводит на сканирование сайта столько времени, сколько необходимо с учетом размера, периодичности обновления, востребованности контента и качества страниц.
Илш указывает:
Как только будет получен обратный сигнал из индекса, что качество страниц повысилось, мы сразу же увеличим лимит сканирования.
Что из этого следует:
В индекс Google попадают не все страницы. Чтобы обеспечить индексирование, важно создавать качественный и востребованный контент.
Следуйте указаниям из руководства Google, чтобы оптимизировать сканирование страниц и повысить шансы на добавление нужного контента в индекс.
Следите за поисковыми трендами и оптимизируйте контент-стратегию. Создавайте контент, релевантный интересам и намерениям пользователей.