Напишу статью по вашему стандартному формату — с метатегами, внутренними ссылками на проверенные страницы, нативным офером и хэштегами в конце.
МЕТАТЕГИ
Title: Что Google и Яндекс реально смотрят при индексации в 2026 году — разбор без мифов
Description: Как на самом деле работает индексация в Google и Яндекс: какие сигналы видят роботы, что влияет на попадание в индекс, а что — миф из блогов. Практический разбор от SEO-специалиста с 20-летним опытом.
Keywords: индексация сайта, что смотрят поисковики при индексации, как работает индексация Google, индексация Яндекс, факторы индексации, краулинговый бюджет, рендеринг JavaScript, индекс поисковика, попадание в индекс, технический SEO
Open Graph:
- og:title — Что Google и Яндекс реально смотрят при индексации в 2026 году
- og:description — Разбор реальных сигналов индексации без мифов из SEO-блогов. Что видит робот, что влияет на индекс, а что не работает.
- og:type — article
Canonical: https://hozyindachi.ru/chto-google-i-yandex-smotryat-pri-indeksacii/
Robots: index, follow
Что Google и Яндекс реально смотрят при индексации (а не то, что пишут в блогах)
Меня зовут Анатолий Кузнецов, я занимаюсь поисковым продвижением больше двадцати лет. За это время я прочитал, наверное, тысячи статей про индексацию — и большая часть из них пересказывает одни и те же мифы, переписанные друг у друга. «Добавьте sitemap, и сайт проиндексируется», «чем больше страниц, тем лучше», «закройте дубли в robots.txt». Звучит логично, но на практике всё работает не совсем так, а иногда — прямо наоборот.
В этой статье я разберу, что поисковые системы действительно оценивают на этапе индексации. Не теорию из справки, а то, что видно по логам сервера, по поведению роботов и по реальным проектам, где страницы то залетали в индекс за сутки, то висели в «обнаружено, но не проиндексировано» месяцами.
Индексация — это не одно действие, а три разных этапа
Главная путаница начинается с того, что «индексацию» воспринимают как один процесс. На самом деле это три отдельных стадии, и сайт может застрять на любой из них.
Первая стадия — обнаружение (discovery). Робот узнаёт, что URL вообще существует: из sitemap, из внутренних ссылок, из внешних ссылок, из истории посещений. На этом этапе он ещё ничего не скачал, просто записал адрес в очередь.
Вторая стадия — сканирование (crawling). Робот реально заходит на страницу, скачивает HTML, выполняет (или не выполняет) JavaScript, оценивает ответ сервера. Здесь начинается самое интересное, потому что от того, что он увидит, зависит, попадёт ли URL дальше.
Третья стадия — индексирование (indexing). Поисковик решает, добавлять ли страницу в свою базу и показывать ли её в выдаче. И вот здесь — вопреки распространённому мнению — отказать он может даже технически идеальной странице.
Когда вы видите в Search Console статус «Обнаружено — не проиндексировано», это значит, что URL застрял между первым и вторым этапом. А «Просканировано — не проиндексировано» — между вторым и третьим. Это два совершенно разных диагноза, и лечатся они по-разному. Если вы хотите разобраться, на каком этапе теряются именно ваши страницы, я провожу бесплатный аудит сайта с разбором проблем индексации по логам.
Что робот смотрит на этапе обнаружения
Глубину вложенности и доступность по ссылкам
Первое, что реально влияет на обнаружение, — это насколько легко до страницы добраться по внутренним ссылкам. Если URL лежит на седьмом уровне вложенности и на него ведёт одна ссылка с малопосещаемой страницы, робот доберётся до него нескоро, а может и не дойти совсем.
Поисковики не любят «висячие узлы» — страницы, на которые почти не ссылаются изнутри сайта. Sitemap эту проблему не решает: наличие URL в карте сайта означает «я знаю про этот адрес», но не «я считаю его важным». Решает её грамотная структура внутренней перелинковки, о которой я подробно писал в отдельном материале в разделе статей.
Историю и поведение, а не только sitemap
Распространённый миф: добавил sitemap — и страницы проиндексируются. Реальность жёстче. Sitemap — это рекомендация, а не команда. Робот сам решает, что и когда сканировать, опираясь на то, как часто менялась страница раньше, насколько она авторитетна и есть ли на неё спрос.
Яндекс в этом смысле ещё консервативнее Google: новый сайт без истории и без внешних сигналов может ждать индексации неделями, даже с идеальным sitemap и настроенным IndexNow.
Что робот реально оценивает при сканировании
Краулинговый бюджет тратится на мусор
Вот то, о чём в блогах пишут мало. У каждого сайта есть ограничение на количество страниц, которые робот готов сканировать за определённый период — краулинговый бюджет. И большинство сайтов сливает его не туда.
Дубли с параметрами, бесконечные пагинации, фильтры каталога, страницы сортировки, версии для печати, UTM-метки — всё это робот скачивает и тратит на это бюджет. В итоге на реально важные коммерческие страницы ресурса просто не остаётся лимита. Сайт большой, а в индексе — половина, и не та половина.
Здесь важный нюанс: закрытие таких страниц в robots.txt не освобождает бюджет так, как многие думают. Robots.txt запрещает сканирование, но URL всё равно может попасть в индекс без контента (как «проиндексировано, несмотря на блокировку в robots.txt»). Правильный инструмент — это noindex на уровне мета-тега или корректная настройка канонических адресов. Дубликаты контента — это отдельная большая тема, и неправильная работа с ними убивает индексацию даже у качественных сайтов.
Ответ сервера и скорость отдачи
Робот оценивает не только то, что на странице, но и то, как сервер себя ведёт. Если сервер отвечает медленно или отдаёт ошибки 5xx, поисковик снижает интенсивность сканирования, чтобы не положить сайт. Логика простая: «раз сервер не справляется, буду заходить реже». А реже — это меньше страниц в индексе.
Скорость загрузки и стабильность хостинга — это не только про ранжирование и Core Web Vitals, это напрямую про то, сколько ваших страниц робот вообще успеет обойти. На медленном сайте краулинговый бюджет выгорает быстрее, потому что каждая страница «дороже» в обработке.
Рендеринг JavaScript — главная слепая зона
Если контент на странице подгружается через JavaScript, начинается отдельная история. Google рендерит JS, но делает это во вторую очередь — сначала сканирует HTML, а рендеринг откладывает в очередь, которая может растянуться. То есть страница может быть «просканирована», но её основной контент робот увидит только спустя время.
Яндекс с JavaScript работает заметно хуже Google. Если ключевой контент и ссылки появляются только после выполнения скриптов, для Яндекса их может не существовать вовсе. Поэтому для сайтов на SPA-фреймворках без серверного рендеринга индексация в Яндексе нередко превращается в боль. Это та проблема, которую я часто вижу при технической диагностике и доработке сайтов — контент есть, для человека он виден, а для робота страница почти пустая.
Что поисковик оценивает перед попаданием в индекс
Ценность страницы, а не просто её наличие
Самый важный и самый недооценённый этап. Google и Яндекс не индексируют всё подряд — им это невыгодно по ресурсам. Перед добавлением в индекс страница проходит проверку на ценность: есть ли на ней уникальный смысл, отличается ли она от тысяч похожих, решает ли она задачу пользователя.
Именно поэтому тонкие, шаблонные страницы (классическое «thin content») висят в статусе «просканировано, не проиндексировано». Робот их увидел, оценил и решил, что добавлять в базу нечего. Это не баг и не санкция — это сознательное решение алгоритма не засорять индекс.
Здесь же работают сигналы экспертности и доверия. Поисковики всё внимательнее смотрят на то, кто стоит за контентом, есть ли у автора реальная экспертиза, подтверждается ли информация. Для коммерческих и YMYL-тематик это критично: страница без признаков авторитетности может просто не дойти до индекса.
Дубли и каноникализация решаются алгоритмом, а не вами
Ещё один миф: «я указал canonical, значит, поисковик выберет именно эту страницу». На самом деле canonical — это сигнал, один из многих. Поисковик может его проигнорировать, если решит, что канонической должна быть другая страница: например, та, на которую больше внутренних ссылок, или та, что чаще открывается в выдаче.
Google и Яндекс сами выбирают «представителя» из группы похожих страниц, опираясь на совокупность сигналов: canonical, внутренние ссылки, sitemap, редиректы, даже язык и регион. Ваша задача — сделать сигналы непротиворечивыми. Когда canonical указывает на одну страницу, внутренние ссылки — на другую, а sitemap — на третью, алгоритм запутывается и выбирает что-то своё, часто не то, что нужно вам.
Чем отличается логика Яндекса и Google при индексации
Разница принципиальная, и игнорировать её нельзя.
Google быстрее обнаруживает и сканирует, активнее работает с JavaScript, охотнее берёт в индекс новые страницы (хотя потом может их «вычистить» при переоценке). Его индекс динамичнее.
Яндекс медленнее на старте, сильно завязан на апдейты (обновления базы происходят не в реальном времени), хуже работает с JS и заметно строже относится к качеству на входе. Зато если страница попала в индекс Яндекса и закрепилась — она держится стабильнее. Также Яндекс активнее использует поведенческие данные уже на этапе оценки страницы, тогда как Google больше опирается на ссылочные и контентные сигналы.
Практический вывод: стратегию индексации нельзя строить «вообще». Нужно понимать, под какую систему вы работаете в первую очередь, и учитывать её особенности на уровне технической архитектуры сайта.
Что из популярных советов реально не работает
Чтобы закрыть тему мифов, коротко по пунктам.
«Пингование» поисковиков сторонними сервисами для ускорения индексации — давно не работает, Google официально отказался от ping-эндпоинтов для sitemap.
Закрытие дублей только в robots.txt — не решает проблему индекса, а иногда создаёт страницы-«призраки» в выдаче без описания.
Массовая закупка ссылок ради «ускорения индексации» — в лучшем случае не помогает, в худшем приводит к фильтрам. Про ссылочные риски я подробно разбирал отдельно.
Огромный sitemap со всеми URL подряд — не помогает, а размывает сигналы важности. В sitemap должны попадать только канонические, ценные, отдающие 200 страницы.
GEO-продвижение: новый слой, который большинство ещё не замечает
И вот то, о чём почти не пишут. Появился принципиально новый этап — попадание контента в ответы генеративных поисковых систем: Яндекс Нейро, ответы с ИИ в выдаче, ChatGPT, Perplexity. Это уже не классическая индексация в привычном смысле, но логика похожая: чтобы вас процитировали, вашу страницу должны сначала «увидеть» и счесть достоверным источником.
GEO (generative engine optimization) — это оптимизация под то, чтобы нейросети брали ваш контент в свои ответы. И требования здесь частично пересекаются с классической индексацией (чистая структура, доступность, авторитетность), а частично — отличаются: важна цитируемость, фактологическая плотность, чёткие формулировки, которые удобно «вытащить» в ответ. Сайты, которые попадают в генеративную выдачу, получают трафик и упоминания там, где конкуренты ещё даже не понимают, что происходит.
Если страницы не индексируются, а трафик не растёт
Давайте честно. Если вы дочитали досюда, скорее всего, у вас есть конкретная боль: страницы не залетают в индекс, трафик стоит на месте или падает, а конкуренты обходят. И дело почти никогда не в одной причине — это всегда сочетание технических ошибок, слабой структуры, проблем с краулинговым бюджетом и контентом, который не дотягивает до порога ценности.
Я занимаюсь этим больше двадцати лет — Санкт-Петербург, Москва, проекты разной сложности. Разбираю индексацию не по чек-листам из блогов, а по логам сервера, по реальному поведению роботов, по тому, где именно теряются ваши страницы. И параллельно настраиваю не только классическое SEO, но и GEO-продвижение — чтобы вы получали трафик и из обычной выдачи, и из ответов нейросетей, пока конкуренты про это ещё не думают.
Что я предлагаю конкретно:
Начнём с бесплатного аудита — я посмотрю, на каком этапе теряются ваши страницы и почему трафик не растёт. Это ни к чему не обязывает, но уже даст вам понимание реальной картины, а не догадок.
Если нужно решение под ключ — есть SEO-продвижение и раскрутка сайта с проработкой технической части, индексации, структуры и контента, плюс GEO-слой для попадания в генеративную выдачу. Результаты моих проектов с цифрами можно посмотреть в разделе кейсов.
Если хотите сначала просто разобраться в своей ситуации и получить план действий — записывайтесь на SEO-консультацию. За час разберём вашу проблему предметно и наметим, что делать в первую очередь.
Не теряйте трафик на технических ошибках, которые видны только в логах. Напишите мне через форму обратной связи — и начнём с того, чтобы ваши страницы наконец начали индексироваться и приводить клиентов.
#SEO #индексация #ТехническоеSEO #продвижениесайтов #Яндекс #Google #краулинговыйбюджет #GEOпродвижение #поисковаяоптимизация #АнатолийКузнецов