ОПТИМИЗАЦИЯ КРАУЛИНГОВО БЮДЖЕТА
Не зависимо от размера вашего краулингово бюджета, вы можете расходовать его не правильно или просто не оптимально. Если краулер будет готов уделить вашему сайта большое количество времени, то было бы досадно, чтобы это время уходило на обработку ошибок и индексацию одних и тех же страниц.
В этой главе мы расскажем вам о том, как можно оптимизировать краулинговый бюджет и расходовать его максимально эффективно. Если коротко, то вам нужно:
- Настроить доступ к документам
- Увеличить число внешних ссылок на сайт
- Настроить карту сайта
- Настроить динамические URL
- Проработать архитектуру внутренних ссылок
- Использовать редиректы
- Избавиться от 404-х ссылок
Давайте разберем подробнее.
НАСТРОЙКА ДОСТУПА К СТРАНИЦАМ
Первое, что стоит проверить — доступность всех нужных страниц для индексации поисковыми роботами. Есть как минимум три способа закрыть страницу от индексации:
- Через файл robots.txt
- Через мета-тег robots
- Через HTTP заголовок x-robots-tag
Конечно, это не все способы, но самые популярные. Ваша задача проверить, что все страницы, которые не должны индексироваться закрыты любым из этих способов.
Если вы видите, что нужные страницы не индексируются, то лучше проверить через кабинеты вебмастера, доступна ли ссылка к обходу и индексации.
УВЕЛИЧИВАЙТЕ ЧИСЛО ВНЕШНИХ ССЫЛОК
Золотое правило — чем чаще на вас появляются внешние ссылки, тем чаще к вам на сайт будут заходить поисковые роботы. Например, тот же Twitter буквально переполнен краулерами поисковых систем, которые индексируют все новые ссылки.
Тоже самое касается и других сайтов. Если на вас появляются ссылки и они открыты, то их индексируют и переходят на ваш сайт.
Получается, при активной линкбилдинговой стратегии вы сможете не только подтянуть позиции с помощью ссылок, но и увеличить свой краулинговый бюджет.
НАСТРОЙТЕ XML-КАРУТ САЙТА
Как и писали выше, карта сайта всё еще остается одним из основных инструментов для ускорения индексации сайта.
Ваша задача сделать так, чтобы в карту попадали только доступные для индексации страницы и они отдавали 200-й код ответа. Также, позаботьтесь и о том, чтобы все новые страницы сразу же оказывались в файле sitemap.xml сразу же после публикации на сайте.
ИЗБЕГАЙТЕ ДИНАМИЧЕСКИХ АДРЕСОВ СТРАНИЦ
Для поискового краудера не важно, статический ли перед ним URL или динамический и они с радостью переходят по обоим. Не важно, ведут ли эти URL на разные страницы или на одну, переход они все равно получают, то есть тратят часть вашего краулингово бюджета.
Это не очень страшно, если у вас небольшой сайт и динамических ссылок не много. Но для крупных интернет-магазинов, где все фильтры состоят из подобных ссылок — это настоящая беда.
В первую очередь — закройте все динамические адреса от индексации в файле robots.txt. Также, постарайтесь вообще избегать на своём сайте размещения ссылок с параметрами. Особенно, это касается любителей размещать ссылки с UTM-метками.
ЗАЙМИТЕСЬ ОРГАНИЗАЦИЕЙ ВНУТРЕННИХ ССЫЛОК
Есть такая рекомендация, делать любую страницу сайта доступной за 3 клика, начиная с главной страницы. Мы понимаем, что придерживаться такого правила сложно, но очень желательно.
Примет контентной перелинковки
Чем быстрее краулеры будут находить все новые страницы — тем меньше краулингово бюджета вы на это потратите. Постарайтесь сделать так, чтобы весь ваш новый контент размещался на главной странице и находился там какое-то продолжительное время. Это точно снизит бюджет на его поиск для роботов. Также не забывайте про контекстную перелинковку и блоки с ссылками на другой контент или товары.
БОРИТЕСЬ С 404
Ни в коем случае не допускайте появления на сайте 404 страниц. Вообще, несуществующие страницы — это главный враг индексации. Выявить их вы можете с помощью любого софта для аудита сайтов, например, Screaming Frog.
Проверяйте сайт хотя бы раз в месяц-два на наличие битых ссылок.
ЗАКЛЮЧЕНИЕ
Надеюсь, из этой статьи вы узнали что такое краулинговый бюджет и как его можно увеличить и оптимизировать. Обязательно используйте советы из этой статьи, особенно, если у вас большой и сложный проект. Помните, чем чаще ваш сайт индексируют, тем больше у вас шансов вывести ваш новый контент в топ поисковой выдачи.
Не забывайте подписываться на наш канал и писать в комментах свои вопросы. Также заходите на наш сайт, где вы сможете получить массу полезной информации.
