Далеко не каждому знаком термин «краулинговый бюджет». Но нет никаких гарантий, что не придется однажды с ним столкнуться. Поэтому имеет смысл дать определение краулинговому бюджету, а также подробно рассмотреть, для чего нужен и как выполняется его расчет.
Определение и актуальность краулингового бюджета
Под краулинговым бюджетом (от английского Crawl Budget) понимается число страниц интернет-ресурса, которое подлежит сканированию краулером поисковых программ. Результатом подобного сканирования становится отбор релевантных запросам пользователей страниц, которые затем индексируются и включаются поисковиками в топы выдачи.
Важно отметить, что не существует непосредственной зависимости между краулинговым бюджетом и ранжированием сайта. Но он остается одним из актуальных параметров, влияющих на эффективность интернет-ресурса. Причем важно понимать, что далеко не всегда крупный краулинговый бюджет означает лучшую отдачу от сайта. Нередко большое число страниц не позволяет поисковым программам индексировать самые важные из них, тем более – этот процесс происходит автоматически и не может контролироваться пользователем.
Но все-таки в большинстве случаев выделенного краулингового бюджета не хватает. Наиболее часто подобная ситуация возникает в следующих случаях:
- На сайте присутствует большое количество ошибок. В этом случае даже очень значительный и объемный сайт может оказаться низкоэффективным. Самый простой способ увеличить реальный бюджет сканирования при таком раскладе – это устранение или исправление ошибок.
- Бот, отбирающий страницы для сканирования, обращает внимание на менее ценные или недостаточно информативные разделы интернет-ресурса. В подобной ситуации необходимо оптимизировать контент или вовсе удалить ненужные страницы.
- Контент сайта не обновляется и содержит значительный объем устаревшей информации. В этом случае активность ботов сканирования в отношении такого ресурса резко снижается, а потому рассчитывать на попадание в топы выдачи точно не стоит.
Нехватка краулингового бюджета – нередкое явление, характерное для самых разных по объему и тематике сайтов. Определить низкую эффективность ресурса помогает аудит, проведение которого должно быть регулярным, что позволит оперативно обнаружить проблему и наметить план действий по ее устранению.
Оптимальная процедура расчета краулингового бюджета предусматривает последовательную реализацию трех несложных шагов. Рассмотрим каждый из них по отдельности.
Шаг №1. Оценка числа страниц, оптимального для индексирования
Самый простой способ определить оптимальное число страниц в поисковом индексе предусматривает использование сервиса ScreamingFrog. Удобная и простая в применении программа показывает просканированные разделы интернет-ресурса, так как в ней задействован алгоритм, полностью аналогичный поисковым системам.
Шаг №2. Расчет количества обращений бота сканирования к сайту
На втором этапе требуется узнать, как часто робот-поисковик обращается к изучаемому сайту. Для этого применяется два способа, каждый из которых заслуживает отдельного описания.
Способ №1. Сервисы Яндекса или Google
Встроенные инструменты двух главных поисковых систем – Яндекс.Вебмастер и Google Search Console – используются для расчета примерного краулингового бюджета. Оба сервиса просты и понятны, обладают схожим функционалом, позволяющим быстро и без проблем узнать, сколько раз бот поисковика сканировал сайт. Применительно к Google можно получить статистику за 90 суток, в Яндексе присутствует опция выбора любого временного периода, интересного пользователю.
Активация первого сервиса происходит переходом по следующим пунктам меню:
- сначала «Настройки»;
- затем «Статистика сканирования»;
- в завершение «Открыть отчет».
Инструмент от Яндекса запускается схожим образом. Сначала нужно открыть программу, потом активировать пункт главного меню «Индексирование», после чего – подпункт «Статистика обхода».
Единственным недостатком такого способа выступает сравнительно низкая точность. Она связана с тем, что сервисы не учитывают количество обращения на страницы с ошибками, что искажает конечный результат. Именно поэтому инструменты подходят для расчета примерного бюджета.
Способ №2. Анализ логов сервера
Логами называют файлы, в которых содержатся данные о функционировании персонального компьютера или сервера. Они включают самую разнообразную информацию – от IP-адресов страниц пользователей до размера переданных сведений. Именно поэтому анализ логов позволяет получить точную величину бюджета, хотя это и требует больше времени, чем для первого способа.
Проще и удобнее всего использовать для сбора аналитики вспомогательные инструменты. Самыми популярными из них считаются такие:
- Loggly;
- LogViewer;
- Screaming Frog Log Analyzer и другие.
Анализ логов сервера требует больше времени, что компенсируется высокой точностью. Поэтому рекомендуется производить его не реже одного раза в квартал для объемных сайтов (от 70 тыс. страниц) и одного раза в полгода для ресурсов с 50-70 тыс. страниц. Обработка полученных результатов требует серьезной квалификации специалиста, но позволяет добиться нужных результатов самым оптимальным способом.
Шаг №3. Расчет краулингового бюджета
Завершающим этапом определения величины бюджета становится расчет. Он базируется на данных, полученных на предыдущих стадиях. Первым параметром выступает среднее количество сканирований в день, которое рассчитывается по простой и понятной формуле: общее число из статистики делится на время, за которое она собиралась.
Для большей наглядности имеет смысл привести конкретный пример. Google Search Console выдал цифру в 5 тысяч обращений бота за стандартные 90 суток. Среднее число сканирований в день составит 5 000/90 = 56 страниц (значение округляется до целого).
Далее остается выполнить еще одно деление. Цифры, полученной с помощью инструмента ScreamingFrog, равной в данном случае 140 (она означает оптимальное количество страниц в индексе), на 56 (расчет этого значения приведен в предыдущем абзаце). Итогом становится значение краулингового бюджета – 2,5.
Интерпретация полученных данных достаточно проста:
- Если значение итогового коэффициента меньше или равно трем, величина краулингового бюджета считается достаточной. Пересматривать ее ни в большую, ни в меньшую сторону нецелесообразно.
- При значении бюджета в диапазоне от 4 до 10 результат считается средним. А потому имеет смысл говорить об оптимизации. Хотя ее проведение не является обязательным.
- Если итоговое значение превышает 10, требуется срочное увеличение бюджета. Интернет-ресурс явно имеет четко выраженные слабые места и работает очень неэффективно.
В качестве окончательного вывода можно отметить следующее. Полученная в результате расчета по исходным данным из примера величина бюджета, равная 2,5, показывает, что интернет-ресурс индексируется на хорошем уровне. Предпринимать каких-то серьезных действий по оптимизации, кроме плановой деятельности по обновлению сайта, не нужно. По крайней мере – до проведения следующего аудита.