Найти тему

ЧТО ТАКОЕ КРАУЛИНГОВЫЙ БЮДЖЕТ и почему он очень важен (часть 2)

Оглавление

ОПТИМИЗАЦИЯ КРАУЛИНГОВО БЮДЖЕТА

Оптимизация
Оптимизация

Не зависимо от размера вашего краулингово бюджета, вы можете расходовать его не правильно или просто не оптимально. Если краулер будет готов уделить вашему сайта большое количество времени, то было бы досадно, чтобы это время уходило на обработку ошибок и индексацию одних и тех же страниц.

В этой главе мы расскажем вам о том, как можно оптимизировать краулинговый бюджет и расходовать его максимально эффективно. Если коротко, то вам нужно:

  • Настроить доступ к документам
  • Увеличить число внешних ссылок на сайт
  • Настроить карту сайта
  • Настроить динамические URL
  • Проработать архитектуру внутренних ссылок
  • Использовать редиректы
  • Избавиться от 404-х ссылок

Давайте разберем подробнее.

НАСТРОЙКА ДОСТУПА К СТРАНИЦАМ

Первое, что стоит проверить — доступность всех нужных страниц для индексации поисковыми роботами. Есть как минимум три способа закрыть страницу от индексации:

  • Через файл robots.txt
Файл robots.txt
Файл robots.txt

  • Через мета-тег robots
Мета тег Robots
Мета тег Robots

  • Через HTTP заголовок x-robots-tag
X-Robots
X-Robots

Конечно, это не все способы, но самые популярные. Ваша задача проверить, что все страницы, которые не должны индексироваться закрыты любым из этих способов.

Проверка в вебмастере Яндекса
Проверка в вебмастере Яндекса

Если вы видите, что нужные страницы не индексируются, то лучше проверить через кабинеты вебмастера, доступна ли ссылка к обходу и индексации.

УВЕЛИЧИВАЙТЕ ЧИСЛО ВНЕШНИХ ССЫЛОК

Золотое правило — чем чаще на вас появляются внешние ссылки, тем чаще к вам на сайт будут заходить поисковые роботы. Например, тот же Twitter буквально переполнен краулерами поисковых систем, которые индексируют все новые ссылки.

Внешние ссылки сайта
Внешние ссылки сайта

Тоже самое касается и других сайтов. Если на вас появляются ссылки и они открыты, то их индексируют и переходят на ваш сайт.

Получается, при активной линкбилдинговой стратегии вы сможете не только подтянуть позиции с помощью ссылок, но и увеличить свой краулинговый бюджет.

НАСТРОЙТЕ XML-КАРУТ САЙТА

Как и писали выше, карта сайта всё еще остается одним из основных инструментов для ускорения индексации сайта.

Пример карты сайта
Пример карты сайта

Ваша задача сделать так, чтобы в карту попадали только доступные для индексации страницы и они отдавали 200-й код ответа. Также, позаботьтесь и о том, чтобы все новые страницы сразу же оказывались в файле sitemap.xml сразу же после публикации на сайте.

ИЗБЕГАЙТЕ ДИНАМИЧЕСКИХ АДРЕСОВ СТРАНИЦ

Для поискового краудера не важно, статический ли перед ним URL или динамический и они с радостью переходят по обоим. Не важно, ведут ли эти URL на разные страницы или на одну, переход они все равно получают, то есть тратят часть вашего краулингово бюджета.

Динамические и статические URL
Динамические и статические URL

Это не очень страшно, если у вас небольшой сайт и динамических ссылок не много. Но для крупных интернет-магазинов, где все фильтры состоят из подобных ссылок — это настоящая беда.

Закрытие динамических страниц
Закрытие динамических страниц

В первую очередь — закройте все динамические адреса от индексации в файле robots.txt. Также, постарайтесь вообще избегать на своём сайте размещения ссылок с параметрами. Особенно, это касается любителей размещать ссылки с UTM-метками.

ЗАЙМИТЕСЬ ОРГАНИЗАЦИЕЙ ВНУТРЕННИХ ССЫЛОК

Есть такая рекомендация, делать любую страницу сайта доступной за 3 клика, начиная с главной страницы. Мы понимаем, что придерживаться такого правила сложно, но очень желательно.

Примет контентной перелинковки
Примет контентной перелинковки

Примет контентной перелинковки

Чем быстрее краулеры будут находить все новые страницы — тем меньше краулингово бюджета вы на это потратите. Постарайтесь сделать так, чтобы весь ваш новый контент размещался на главной странице и находился там какое-то продолжительное время. Это точно снизит бюджет на его поиск для роботов. Также не забывайте про контекстную перелинковку и блоки с ссылками на другой контент или товары.

БОРИТЕСЬ С 404

Ни в коем случае не допускайте появления на сайте 404 страниц. Вообще, несуществующие страницы — это главный враг индексации. Выявить их вы можете с помощью любого софта для аудита сайтов, например, Screaming Frog.

404 страницы в Яндекс Вебмастере
404 страницы в Яндекс Вебмастере

Проверяйте сайт хотя бы раз в месяц-два на наличие битых ссылок.

ЗАКЛЮЧЕНИЕ

Надеюсь, из этой статьи вы узнали что такое краулинговый бюджет и как его можно увеличить и оптимизировать. Обязательно используйте советы из этой статьи, особенно, если у вас большой и сложный проект. Помните, чем чаще ваш сайт индексируют, тем больше у вас шансов вывести ваш новый контент в топ поисковой выдачи.

Не забывайте подписываться на наш канал и писать в комментах свои вопросы. Также заходите на наш сайт, где вы сможете получить массу полезной информации.