Знаете ли вы, что каждая статья в The New York Times находится не более чем в пяти кликах от главной страницы? Каждая статья — вплоть до 1851 года. Вот как выглядит правильная глубина краулинга. Результат? Довольные боты, быстрая индексация и улучшенный пользовательский опыт.
Что такое глубина краулинга?
Глубина краулинга — это минимальное количество кликов, необходимых для достижения страницы, начиная с главной. Главная страница сайта имеет глубину краулинга ноль. Страница "О нас", на которую ссылается хедер или футер, имеет глубину один. Малоиспользуемая страница продукта в интернет-магазине может иметь глубину пять и более.
Глубина краулинга важна, потому что влияет на индексацию. Она облегчает ботам навигацию по сайту и максимизирует "краулинговый бюджет" — количество страниц, которые поисковые системы вроде Google могут проиндексировать за один визит.
1. Создайте чёткую архитектуру сайта
Архитектура сайта — это способ организации страниц. Хорошо связанная, иерархичная и относительно "плоская" архитектура лучше всего подходит для краулинга. Крупные сайты имеют более сложную архитектуру, но обычно лучше держать страницы в пределах пяти кликов от главной.
Как построить архитектуру, оптимизированную для глубины краулинга:
- Организуйте информационный контент в кластеры тем и подтем
- Используйте страницы категорий на сайтах e-commerce
- Избегайте страниц-сирот (страниц без ссылок)
- Используйте выпадающие меню в навигационной панели для ссылок на основные страницы
- Применяйте чёткую структуру URL, отражающую категории и темы
2. Создайте HTML и XML карты сайта
Поддержание актуальных HTML и XML карт сайта — один из самых простых способов оптимизации глубины краулинга. HTML-карты предназначены для людей, а XML-карты написаны на специальном языке, который сообщает ботам о ваших страницах.
Google поощряет использование обеих карт. Хотя поисковые системы в первую очередь полагаются на XML-карты для индексации, HTML-карта также предоставляет полезную информацию об иерархии сайта.
Если у вас крупный сайт с более чем 50,000 страниц, вам понадобится создать индексную страницу карты сайта, которая ссылается на несколько карт.
3. Поддерживайте последовательную внутреннюю перелинковку
Даже при идеальной структуре сайта внутренняя перелинковка дополнительно снижает глубину краулинга страниц. Это особенно актуально для крупных сайтов.
Лучшие практики внутренней перелинковки:
- Используйте описательный анкорный текст с ключевыми словами
- Избегайте использования одинакового анкора для двух разных ссылок на одной странице
- Приоритизируйте страницы с большой глубиной краулинга и малым количеством существующих ссылок
- Учитывайте релевантность при создании ссылок
- Ссылайтесь на подстраницы и родительские страницы
- Регулярно обновляйте старые страницы ссылками на новый релевантный контент
4. Думайте категориями "информационного запаха"
Оптимизация глубины краулинга — это улучшение пользовательского опыта в той же степени, что и ускорение индексации. Важно балансировать технические аспекты SEO с потребностями пользователей.
"Информационный запах" — это оценка того, насколько релевантной будет страница при посещении. Ссылка с более сильным информационным запахом легче оценивается пользователями и имеет больше шансов быть нажатой.
Три компонента, определяющих информационный запах:
- Метка ссылки или анкорный текст
- Окружающий контент
- Более широкий контекст ссылки
5. Не переоптимизируйте крупные сайты
Иногда достижение универсальной глубины краулинга ниже пяти нежелательно и может сделать сайт менее дружелюбным для пользователей. В таких случаях лучше сосредоточиться на оптимизации структуры сайта и карты. Полная карта сайта максимизирует количество проиндексированных страниц за сессию.
6. Ссылайтесь на регулярно обновляемые страницы с главной
Если у вас есть страницы, которые часто меняются, важно, чтобы они переиндексировались как можно быстрее. Уменьшите их глубину краулинга, ссылаясь на них с главной страницы. Например, страницы "Новинки" или сезонные акции.
7. Следуйте лучшим практикам пагинации
Пагинация — это разделение контента на несколько страниц, например, на индексных страницах блога или страницах категорий e-commerce. Проблема в том, что она создаёт страницы с высокой глубиной краулинга.
Лучшие практики пагинации:
- Дайте каждой странице собственный URL
- Включите ссылки на следующую и предыдущую страницы
- Дайте каждой странице собственный канонический URL
- Предотвратите индексацию Google URL с фильтрами, используя тег noindex
- Удалите SEO-элементы со всех страниц, кроме первых двух
8. Управляйте инвентарём URL
Инвентарь URL — это список URL, которые должны краулиться поисковыми системами. Регулярно очищая инвентарь, вы освобождаете пропускную способность для краулинга других областей сайта.
Советы Google для увеличения краулинга:
- Удаляйте дублирующийся контент где возможно
- Используйте файл robots.txt для страниц, не требующих приоритетной индексации
- Используйте коды 404 или 410 для постоянно удалённых страниц
- Удаляйте мягкие ошибки 404
- Убедитесь, что XML-карты актуальны
- Удаляйте длинные цепочки редиректов 301
9. Используйте инструменты для исправления битых ссылок
Битые ссылки увеличивают глубину краулинга. Если страница существует, но внутренние ссылки на неё не работают правильно, путь краулинга удлиняется. В худшем случае она может стать страницей-сиротой.
Инструменты вроде Ubersuggest проводят регулярные аудиты и выявляют битые ссылки, которые можно исправить.
10. Регулярно проверяйте покрытие индекса
Хотя инструменты могут автоматизировать процесс выявления проблем, ручные проверки также играют роль. Нет замены проверке покрытия индекса в Google Search Console.
Раздел "Почему страницы не проиндексированы" в отчёте предупреждает о любых проблемах с индексацией, которые могут быть связаны с глубиной краулинга.
Бонусный Совет: Увеличьте скорость сайта
Если ваш сайт загружается быстро, вы будете использовать меньше краулингового бюджета. Боты поисковых систем получат доступ к большему количеству страниц за один краулинг. Используйте PageSpeed Insights для тестирования и устранения проблем со скоростью страниц. Стремитесь к скорости загрузки ниже двух секунд.
Часто задаваемые вопросы
Что такое глубина краулинга?
Количество кликов, необходимых для достижения страницы с главной. Главная имеет глубину ноль.
Какая глубина краулинга считается хорошей?
В пределах пяти кликов от главной страницы.
Как повысить эффективность краулинга?
Поддерживайте плоскую структуру сайта, актуальные XML-карты, сильную внутреннюю перелинковку, очищайте дубликаты, исправляйте битые ссылки и ускоряйте сайт.
Глубина краулинга — небольшая, но важная часть хорошего SEO. Скорость, с которой Google индексирует страницы, и лёгкость навигации для пользователей напрямую влияют на ранжирование, трафик и конверсии.