Разберём по пунктам, почему сайт не индексируется в Яндексе и Google — то есть не появляется в результатах поиска, а его страницы остаются невидимыми для пользователей через поисковики.
Главные причины, почему не индексируются сайт
Роботы не могут попасть на страницы.
Поисковые системы направляют на сайт специальных роботов для сканирования страниц. Если они не получают доступ к отдельным страницам или ко всему сайту, страницы не попадут в поисковую выдачу. Это бывает из‑за:
- запрета в файле robots.txt (например, строка «Disallow: /» блокирует весь сайт);
- мета-тега <meta name=“robots” content=“noindex”> прямо на странице — он даёт чёткую команду не включать её в индекс;
- защиты сайта паролем или ограничением по IP‑адресам — роботы не умеют вводить пароли и не могут обойти такие «барьеры»;
- настроек CMS: некоторые системы управления сайтом автоматически скрывают служебные разделы (архивы, теги) от индексации. Иногда, при создании новой страницы, надо администратору самому ставить или убирать галочки, блокирующие индексацию страниц (например, когда страница создана предварительно, как черновик).
Технические неполадки.
Даже при открытом доступе, проблемы с работой сайта мешают роботам его сканировать:
- медленная загрузка страниц (свыше 3–4 секунд) — робот может прервать процесс и уйти;
- ошибки сервера (коды 404 — «страница не найдена», 500 — внутренняя ошибка и т. д.) — если страница нестабильна (то работает, то нет), её не добавят в индекс;
- перебои с хостингом — частые «падения» сайта заставляют роботов реже его проверять, а потом и вовсе игнорировать; при временных отключениях сервера (сайт в этот момент вообще не работает), сайт теряет и имеющиеся позиции и трафик – это связано с заботой поисковиков о пользователях: нет смысла показывать посетителям неработающие сайты;
- динамический контент на JavaScript (React, Vue.js и т. п.) — роботы могут не дождаться подгрузки текста и увидеть пустую страницу (когда несколько секунд, например, выводится рекламная заставка-картинка, а потом уже показывается текст).
Качество и уникальность контента.
Поисковики отфильтровывают страницы, которые считают малополезными:
- слишком короткий текст (пара абзацев без развёрнутой информации, бессмысленные предложения ради использования пары ключевых фраз);
- дублирование контента — когда один материал доступен по нескольким URL (страницам сайта);
- одинаковые или пустые метатеги title и description на разных страницах;
- перебор (СПАМ) с ключевыми словами — это воспринимается как попытка манипулировать ранжированием, умышленно занять более высокие позиции в поисковой выдаче именно таким способом;
- опасный контент: вирусы, фишинг, запрещённые материалы — такие страницы блокируются автоматически.
Поисковики не «знают» о сайте.
Новые ресурсы Яндекс и Гугл находят через ссылки с других площадок. Если их нет, робот может не обнаружить сайт. Дополнительно усложняют ситуацию:
- отсутствие карты сайта sitemap.xml — без неё обход страниц идёт медленнее, новые материалы долго не попадают в поиск;
- незарегистрированный сайт в сервисах вебмастеров — если не добавить ресурс в Яндекс.Вебмастер и Google Search Console, процесс обнаружения новых страниц, изменения на старых, удаление страниц с сайта затягивается.
Последствия переноса сайта.
Смена домена или структуры без грамотной настройки приводит к потере индексации:
- нет 301‑редиректов (постоянных перенаправлений) — старые URL считаются удалёнными, новые не добавляются и их надо склеить с помощью редиректов; тогда в поисковой выдаче плавно сменится имя домена (URL), а пользователь не попадёт на 404 страницы старого домена;
- потеря внешних ссылок — без них поисковые системы теряют сигналы о важности страниц. Будет и потеря позиций, трафика, и долгая индексация нового домена.
Негативная история домена.
Если раньше адрес использовали для спам‑рассылок, казино, фишинга и пр., он мог попасть под фильтры. Новый проект на таком домене рискует остаться вне индекса, даже если сейчас контент качественный. И «лечится» подобное годами, и не факт что получится.
С чего начать проверку, если сайт не индексируется в Яндексе
- Откройте Яндекс.Вебмастер, перейдите в раздел «Индексирование» → «Страницы в поиске» — проверьте статус страниц и наличие ошибок.
- Изучите файл robots.txt: убедитесь, что там нет глобальных запретов на сканирование.
- Убедитесь, что карта сайта sitemap.xml создана, актуальна и загружена в Яндекс.Вебмастер, обновляется при изменении страниц, добавлении и удалении URL.
- Проверьте коды ответов сервера: корректная загрузка даёт код 200ok, ошибки — 4xx/5xx.
- Просмотрите мета-теги: каждая страница должна иметь уникальный title и осмысленное description. Если страниц много, можно использовать разные онлайн сервисы и отдельные программы – почти всегда это платно. В итоге вы сможете выгрузить таблицу, отсортировать или сразу получить список некачественных страниц.
Если после этих шагов страницы сайта не индексируются по‑прежнему, имеет смысл заказать SEO‑аудит или проконсультироваться со специалистом (можно со мной, часто бесплатно, если не требуется уделить много времени). Он найдёт скрытые проблемы, мешающие включению страниц в поисковый индекс.