В этом материале мы поговорим о краулинговом бюджете. Также мы выясним:
- что такое краулинг веб-ресурса;
- как можно увеличить бюджет на реализацию краулинга.
Что следует понимать под краулингом сайта?
Речь идет об алгоритме сканирования веб-документов площадки поисковыми машинами в рамках получения данных для последующего индексирования. Оптимизаторами также выделяются два сопутствующих краулингу веб-проекта понятия. Мы говорим:
- о краулинговом спросе (под ним подразумевается количество web-страниц, которые составляют так называемый «рабочий график» ботов по считыванию информации в процессе планирования индексирования сайта);
- о краулинговом бюджете (под ним следует понимать максимальное количество веб-документов, которые поисковые машины могут проанализировать в течение определенного временного промежутка).
Ввиду этого возникает такой фактор, как ограниченность бюджета (любого, в том числе краулингового). На этот нюанс следует ориентироваться при продвижении сайтов с большим количеством страниц (от тысячи и выше), содержание которых постоянно корректируется и обновляется. Если, разумеется, вы стремитесь к эффективной поисковой раскрутке сайта.
Важно!
Затраты на SEO не окупят себя при недостаточном краулинговом бюджете (КБ), так как часть ключевых страниц попросту не будет проиндексирована поисковиком.
Какое влияние оказывает КБ на процесс SEO-оптимизации?
Объем текущих краулинговых «расходов» можно определить посредством сервиса от Гугл Search Console. Делаем следующее:
- смотрим среднее число проанализированных машинами страниц в течение дня.
Регулярное обновление содержимого площадки, публикация на ее страницах свежего, интересного и релевантного намерениям целевых пользователей контента, обновление ранее размещенных статей и включение в структуру веб-документов качественных визуальных решений способствует повышению доверия к сайту, а также росту его популярности, посещаемости;
По итогу поисковые сервисы отмечают для себя, что этот ресурс является авторитетным для целевой аудитории, что влечет за собой активацию процесса его эффективного SEO-продвижения (в том числе за счет увеличения краулингового бюджета).
Проверенные на практике способы оптимизации, влияющие на повышение объема КБ
С их помощью вы сможете:
Увеличить ресурсную базу в рамках продвижения при помощи непосредственного содействия со стороны поисковых систем.
Наладить коммуникацию с поисковыми ботами (все просто: чем больше интереса к сайту проявляют пользователи, тем выше вероятность увеличения КБ).
Способы увеличить краулинговый бюджет:
1. Повысьте скорость загрузки страниц веб-ресурса
Дело в том, что медленное функционирование сайта побуждает ботов к долговременному считыванию информационных данных. Давайте разберемся, что можно сделать, чтобы увеличить скорость загрузки страниц веб ресурса.
Для проверки скорости загрузки страниц существует большое количество бесплатных инструментов. Вот некоторые из них:
Качественный хостинг.
Разместите свой проект у надежного и проверенного хостинг провайдера. Основные требования к хостингу:
- бесперебойная работа — очень важно, чтобы сайт был доступен в любое время дня и ночи. максимальное количество часов и дней в году;
- адекватное количество сайтов на одной виртуальной машине, если вы пользуетесь виртуальным хостингом. Простыми словами — хостинг не должен тормозить, а канал связи не должен быть перегружен;
- правильная настройка сервера — особенно это касается «коробочных» продуктов хостинг провайдеров;
Настройка кэширования
- расширьте TTL кэширования — TTL — это «время жизни» кэша, то есть, время его хранения. Обычно от нескольких минут до недель. Увеличение особенно актуально для крупных сайтов (100 000+ страниц), и если контент меняется не часто.
- сосредоточьтесь на самых медленных запросах — при работе с базой данных можно отслеживать журнал медленных запросов. Полезно проводить такой аудит хотя бы раз в квартал. Для проверок используется также оператор EXPLAIN. Это важный инструмент для понимании того, насколько производительны SQL-запросы.
Оптимизация графических элементов сайта
- иконки на сайте. используйте формат svg для иконок, если есть такая возможность;
- уменьшите размер графических элементов. По возможности оптимизируйте все картинки и фотографии, проработайте систему создания «превью» размер в размер для каждого элемента. Пример: если у вас элемент имеет размер 128 на 128 пикселей, вы конечно же можете использовать при выводе изображение большего размера, например 256 на 256 пикселей, однако, желательно в данном случае форматировать изображение до размера 128 на 128 пикселей;
- отложенная загрузка скрытых изображений. Если на сайте присутствует большое количество изображений, которые прибавляют ей вес, рекомендуем настроить отложенную загрузку скрытых изображений. Тогда основные ресурсы сайта будут загружаться в первую очередь. С подобной технологией вы могли сталкиваться просматривая ленту новостей в социальных сетях.
Оптимизация CSS и java
- Патрик Кертис замечает, что каждый раз, удаляя JS-скрипт — скорость страницы подрастает. Разумеется, в современных веб-интерфейсах без него никуда, поэтому нужно стремиться к минимизации кода и по возможности выносить любой скрипт более 15 строк в отдельные файлы. Почему JS замедляет скорость? Как правило, скрипты взаимодействуют с DOM и CSSOM (объектная модель документа и их визуализация), изменяя их. На преобразование уходит больше времени, чем на загрузку готовой HTML-разметки;
- как и в случае с JS, минимизируйте насколько возможно и выносите стили в отдельные файлы. Данные в них закэшируются и будут подгружаться быстрее. Так же есть огромное множество модулей для оптимизации фронтенда и группировки связанных на странице CSS- и JS-файлов. Например, AdVagg для Drupal. Попробуйте вообще сократить использование CSS. Так, если какой-то стиль используется только для главной страницы, нет смысла подгружать его для других документов.
2. Проверьте редиректы и внутренние ссылки
Удалите весь битый ссылочный материал, перенаправляющий аудиторию на веб-документы, которых по факту нет (ошибки 404 негативно сказываются как на поведенческих показателях сайта, так и на функционировании ботов, при этом КБ тратится впустую.
C целью поиска ошибок воспользуйтесь сервисами:
3. Значимость страниц, семантическое ядро
Сформируйте логичную с точки зрения значимости страниц (речь идет об уровне вложенности) структуру веб-площадки.
Обспечьте целевое распределение краулингового бюджета с помощью правильной (смысловой) перелинковки страниц.
4. Карта сайта и файл роботс
Выполните настройку карты сайта. С основными требованиями поисковых систем к sitemap вы можете ознакомиться по ссылке.
Выполните настройку документа robots.txt. Закройте/откройте для считывания данных лишние/важные страницы соответственно. С основными требованиями поисковых систем к файлу robots.txt вы можете ознакомиться по ссылкам:
5. Поработайте над ссылками на ваш сайт
В большей степени этот пункт важен для поисковой системы Google, нежели для Yandex — об этом говорят как экспериментальные данные, так и представители самой поисковой системы. Чем больше ссылок (качественных, а не купленных в автобиржах) ведут на страницы вашего сайта, тем чаще краулер поисковой системы будет посещать страницы вашего сайта и индексировать информацию.
На этом пока всё.