Индексация URL: что сделать, чтобы сайт заметили поисковые системы

Сайт запущен, опубликован контент, но трафика нет. Яндекс и Google делают вид, что ресурса не существует. Чаще всего дело не в качестве текстов и не в ссылочном профиле – страницы просто не попали в индекс.

В этой статье команда Digital Caramel разберет, почему это происходит и поделится конкретными шагами для устранения барьеров индексации.

Что такое индексация URL?

Поисковые системы запускают роботов, которые непрерывно обходят сеть по ссылкам: у Яндекса это Яндексбот, у Google – Googlebot. Робот заходит на страницу, собирает ссылки, переходит по ним и так по кругу. Когда находится новый URL, он ставит его в очередь: страница скачивается, анализируется, и если все в порядке попадает в индекс.

Оговорка «если все в порядке» здесь ключевая. Поисковик может найти страницу, но не проиндексировать ее. Может проиндексировать, но не ранжировать. А может обойти стороной. Это три разные проблемы с разными решениями.

У каждого робота есть бюджет обхода – ограниченное количество страниц за один визит. Его размер определяется:

• скоростью ответа сервера,
• авторитетностью сайта,
• долей ошибок при предыдущих обходах,
• частотой обновлений контента.

Сайт, который исторически часто возвращал 5xx или медленно отвечал, получает урезанный бюджет и быстро восстановить его не получится. У Яндекса это еще заметнее: бюджет обхода напрямую коррелирует с ИКС, поэтому для молодого ресурса попадание в индекс и рост доверия – это итеративный процесс, не одномоментное событие.

Читайте также:

Что мешает роботу: технические барьеры

Прежде чем ускорять индексацию, стоит убедиться, что вы ее не блокируете. Именно технические ошибки чаще всего объясняют, почему страницы годами не появляются в поиске.

Robots.txt

Это первое, что читает поисковый робот при посещении сайта. Disallow: / закрывает весь сайт разом – и Яндексбот, и Googlebot ее соблюдают.

Классическая история: сайт переехал с тестового домена на боевой, разработчики забыли снять запрет. Сайт работает, выглядит нормально, но поисковики его не видят.

Есть и менее очевидные проблемы:

1. Robots.txt закрывает CSS и JS-файлы. Если Яндексбот не может скачать стили и скрипты, он видит страницу иначе, чем пользователь, и может принять ее за тонкую или некачественную. Это влияет не только на рендеринг, но и на факторы ранжирования.
2. Директива Crawl-delay. Яндексбот воспринимает ее буквально. Значение Crawl-delay: 10 означает, что робот будет делать паузу 10 секунд между запросами. На сайте с тысячами страниц это похоронит полноценный обход.

Совет Digital Caramel

Откройте в браузере ваш-сайт.ru/robots.txt. В Яндекс.Вебмастере есть инструмент «Анализ robots.txt» – он покажет конфликты, которые сложно заметить глазом, включая пересечение директив для разных агентов.

Мета-тег noindex

<meta name="robots" content="noindex"> запрещает добавлять страницу в индекс. Робот зайдет, прочитает, но в базу не добавит.

Тег нужен для технических и служебных страниц, но иногда оказывается на карточках товаров, категориях или лендингах. Отдельно стоит следить за страницами пагинации: некоторые CMS по умолчанию закрывают /page/2/ и далее через noindex, чтобы избежать дублей. Это приводит к тому, что товары и статьи, доступные только со второй страницы листинга, остаются вне индекса. И обычно это обнаруживается случайно.

Совет Digital Caramel

Проверьте ключевые страницы через исходный код или инструмент проверки URL в Яндекс.Вебмастере и Google Search Console.

Nofollow на внутренних ссылках

Атрибут rel="nofollow" на внутренних ссылках изолирует часть страниц: робот не переходит по ним и не передает ссылочный вес.

Здесь важен нюанс, который разделяет поведение двух поисковиков. С 2019 года Google перевел nofollow в статус «hint» – рекомендацию, которую робот может проигнорировать по своему усмотрению. Яндексбот по-прежнему жестко соблюдает nofollow. Это значит, что одни и те же внутренние ссылки с nofollow могут дать разный результат в двух системах: в Google страницы окажутся в индексе, в Яндексе – нет.

Медленная загрузка и ошибки сервера

Медленный сервер сжигает бюджет обхода. Если TTFB (время до первого байта) стабильно выше 500 мс, за визит робот обойдет меньше страниц, чем мог бы. Для блога с сотней статей некритично. Для интернет-магазина с десятками тысяч карточек – реальный риск: часть каталога может никогда не попасть в индекс.

Ошибки 5xx – отдельная история. Если в предыдущий обход робот получил много серверных ошибок, Яндекс снижает частоту визитов: система считает, что сайт нестабилен. Восстановление занимает время, даже если сервер уже починили.

Совет Digital Caramel

Скорость удобно отслеживать через отчет «Скорость загрузки сайта» в Яндекс.Метрике и PageSpeed Insights от Google. Яндекс также указывает на проблемные страницы в разделе «Качество сайта» в Вебмастере.

Sitemap.xml: дать роботу карту

XML-карта сайта – структурированный список URL в формате, который понимают поисковые системы. Не панацея, но важный ориентир, особенно когда внутренняя перелинковка не покрывает весь сайт.

Карта работает, когда в ней только рабочие URL с ответом 200, нет страниц с noindex, есть актуальные даты через <lastmod> и она обновляется при появлении нового контента. Если <lastmod> проставлен статически и не меняется, Яндекс и Google со временем перестают доверять этому полю и начинают его игнорировать.

Есть проблема, которую легко пропустить: sitemap с большой долей «мертвых» URL. Если карта содержит тысячи адресов, возвращающих 404 или редиректы, Яндекс снижает доверие ко всему файлу (включая рабочие URL). Периодически проверяйте карту на битые ссылки через Вебмастер или Screaming Frog.

Технические ограничения: один файл sitemap – не более 50 000 URL и не более 50 МБ. Для больших сайтов нужен sitemap index, который объединяет несколько файлов. Если в карте URL, одновременно закрытые в robots.txt или помеченные noindex, поисковик получает противоречивые инструкции и может проигнорировать оба сигнала.

Совет Digital Caramel

Отправьте карту в Яндекс.Вебмастер («Индексирование – Файлы Sitemap») и Google Search Console. Обе системы покажут, сколько обработано URL и что пошло не так.

Внутренняя перелинковка

Внутренние ссылки – основной способ, которым робот открывает новые страницы. Но перелинковка влияет не только на индексацию: через внутренние ссылки передается ссылочный вес (PageRank). Страницы с большим количеством входящих внутренних ссылок получают больший вес при ранжировании. То есть грамотная перелинковка одновременно ускоряет попадание в индекс и улучшает позиции.

Если новый материал не связан ни с чем на сайте, робот найдет его только через sitemap и только в следующий визит, который может состояться не скоро.

Совет Digital Caramel

Добавляйте ссылки на свежий контент из уже проиндексированных страниц: блок «Читайте также», «Похожие товары», контекстные ссылки внутри текста. Страницы без единой входящей внутренней ссылки (страницы-сироты) для роботов практически невидимы.

Следите за глубиной: в практике оптимизации критической отметкой считается 3-4 уровня вложенности от главной. Глубже – страница не запрещена, но посещается реже и получает меньший вес. Проверить это можно в отчете «Структура сайта» в Яндекс.Вебмастере или через краулер – Screaming Frog или Netpeak Spider.

Читайте также:

Канонические URL

Дубли контента – тихая проблема, которая незаметно разрушает индексацию. Поисковик находит несколько URL с одинаковым содержимым и не понимает, какой ранжировать. Вес размывается.

В рунете дубли появляются предсказуемо:

• Страница доступна с www и без него;
• HTTP и HTTPS сосуществуют;
• URL с / в конце и без него ведут на одно и то же;
• UTM-метки из Директа и Метрики создают уникальные адреса с идентичным содержимым;
• Параметры фильтров в интернет-магазинах плодят сотни вариантов одной карточки.

Тег <link rel="canonical" href="..."> указывает поисковику, какую версию считать главной. Но canonical – это рекомендация, не команда. Яндекс и Google игнорируют его в нескольких конкретных ситуациях:

• Если канонический URL сам возвращает редирект;
• Если содержимое канонической и дублирующей страниц слишком сильно расходится;
• Если другие сигналы (входящие ссылки, sitemap) указывают на иную версию как основную.

В этих случаях canonical не работает так, как задумано.

Поэтому canonical надежно работает только в связке с 301-редиректами, которые физически убирают альтернативные версии. Тег указывает предпочтительный URL. Редирект гарантирует, что других URL просто не останется.

JavaScript-сайты

Если сайт на React, Vue или Angular – задача усложняется, а в рунете особенно.

Googlebot умеет рендерить JavaScript, но помещает такие страницы в очередь «второго прохода» (WRS — wave rendering system). Это значит, что между первым обнаружением страницы и индексацией JS-контента может пройти несколько дней или даже недель. Для новостного сайта или ресурса с актуальным контентом это критично.

Яндексбот справляется с JS существенно хуже и значительно отстает от Google по возможностям рендеринга. Есть еще один практически важный момент: Яндексбот не выполняет fetch для <script type="module"> – современный стандарт, который по умолчанию используют сборщики Vite и Rollup. Если ваш фронтенд собран через Vite, Яндекс может вовсе не увидеть клиентский JavaScript, а вместе с ним контент, навигацию и внутренние ссылки.

Самое наднжное решение – SSR или SSG: HTML отдается готовым, роботам ничего не нужно выполнять. Если полный переход невозможен – динамический рендеринг: для роботов страница собирается на сервере, для пользователей работает как SPA.

Совет Digital Caramel

Проверить, что видит Яндексбот, можно через «Проверку ответа сервера» в Яндекс.Вебмастере.

Инструменты

1. Яндекс.Вебмастер – отправная точка для любого сайта в рунете. Массовая отправка через «Переобход страниц» (до 20 URL в сутки вручную), отчеты об ошибках, история обхода, диагностика robots.txt, отчет «Качество сайта». ИКС отражает, как Яндекс оценивает ресурс, и косвенно показывает, насколько охотно робот будет тратить на него бюджет обхода.
2. Яндекс IndexNow – протокол мгновенного оповещения. При публикации новой страницы или обновлении существующей уведомляет Яндекс в реальном времени. Особенно важен для новостных сайтов и блогов с высокой частотой публикаций.
3. Google Search Console – нужен даже если фокус на Яндексе: Google все равно приносит трафик. Инструмент проверки URL позволяет запросить индексацию конкретной страницы и посмотреть, что видит Googlebot, включая ресурсы, которые он не смог загрузить.
4. Google Indexing API – программный интерфейс для автоматической отправки URL в Google. Официально предназначен для страниц с разметкой JobPosting и BroadcastEvent, но на практике работает шире. Подходит для сайтов с постоянно обновляемым контентом.
5. SpeedyIndex – платный сервис для ускоренной отправки в Google и Яндекс без доступа к Search Console и API. Передаете список URL, по ним проходят мобильные боты, через 72 часа получаете отчет: что в индексе, что дало ошибку, что еще в процессе.
6. 2Index – сервис с личным кабинетом для индексации внешних и внутренних ссылок. Есть бесплатный тариф WhiteNinja и платные пакеты.

При выборе платного инструмента важнее всего, работает ли он одновременно с Яндексом и Google, поддерживает ли массовую отправку, как интегрируется с Keys.so, Метрикой и Rush Analytics.

Если сайт новый

Молодой ресурс без ссылочной истории индексируется медленнее. И здесь есть важный момент, который часто пропускают. Яндекс применяет к новым доменам период ограниченного доверия, который в SEO-сообществе называют «песочницей». В это время сайт может быть технически безупречным, иметь хороший контент и даже внешние ссылки, но Яндекс намеренно сдерживает его продвижение в выдаче, пока не накопит достаточно сигналов. Длится это от нескольких недель до нескольких месяцев в зависимости от тематики и активности ресурса. Понять, что вы в «песочнице», можно по характерной картине: позиции есть, но все они ниже топ-20, и не растут даже при хороших поведенческих.

Помимо технической настройки, нужны внешние сигналы: робот должен прийти откуда-то. Ссылки с авторитетных сайтов ускоряют обнаружение. Робот видит ссылку на незнакомый ресурс и переходит по ней. Для старта подходят тематические площадки, Яндекс.Справочник и 2ГИС для локального бизнеса, отраслевые агрегаторы, публикации в профильных изданиях. Ключевое – не ждать, что поисковики сами найдут новый сайт в разумные сроки.

О том, почему сайт может ранжироваться не по тем запросам и как это исправитьчитайте в нашем разборе:

Чеклист

1. Откройте ваш-сайт.ru/robots.txt, проверьте через «Анализ robots.txt» в Яндекс.Вебмастере – особенно наличие Crawl-delay и заблокированных CSS/JS-файлов.
2. Проверьте ключевые страницы на noindex через исходный код или инструмент проверки URL. Отдельно проверьте страницы пагинации.
3. Убедитесь, что sitemap.xml актуальна, не содержит URL с 404 и редиректами, не противоречит robots.txt и отправлена в Вебмастер и Search Console. Для сайтов от 50 000 страниц – настройте sitemap index.
4. Найдите страницы-сироты и добавьте на них ссылки. Проверьте глубину вложенности: все важное должно быть достижимо за 3-4 клика от главной.
5. Проверьте дубли URL (особенно с UTM-метками и параметрами фильтров) и настройте canonical + 301-редиректы. Убедитесь, что сам канонический URL не возвращает редирект.
6. Проверьте скорость в PageSpeed Insights и отчете Метрики. Обратите внимание на TTFB: если он стабильно выше 500 мс – это проблема для бюджета обхода.
7. Если сайт на JavaScript, проверьте его через «Проверку ответа сервера» в Яндекс.Вебмастере. Если фронтенд собран на Vite, убедитесь, что Яндексбот вообще видит контент.
8. Вручную отправьте новые страницы на индексацию и подключите IndexNow для автоматического оповещения.

Полное руководство по SEO-аудиту с разбором всех направлений читайте здесь:

Индексация – это не настройка один раз. Проблемы с роботами возвращаются после редизайна, переезда на новый движок, смены хостинга и даже после обновления CMS, которое неожиданно меняет структуру URL или добавляет noindex туда, где его не ждали.

Большинство из них легко обнаружить и устранить. Труднее всего то, о чем не знаешь.

Когда индексация выстроена и органический трафик начнет расти, важно правильно его монетизировать. Digital Caramel помогает владельцам сайтов зарабатывать на рекламных размещениях с форматами, которые не ухудшают скорость загрузки и поведенческие факторы. С нами уже 2500+ партнеров. Подробности на digitalcaramel.com.

Читайте также:

С какой проблемой индексации вы сталкивались чаще всего и что помогло ее обнаружить? Напишите в комментариях.