Сайт не добавлен в Яндекс Вебмастер и Google Search Console
Начнем с Google
Поисковый система Google, а конкретно различные роботы Google, сканируют более миллиарда документов помимо вашего сайта и есть вероятность что ваш сайт не попадет в индекс. Поэтому добавить сайт в Google Search Console стоит воспринимать как данность и просто необходимо это сделать.
Чтобы подтвердить права на Google Search Console нужно разместить код Search Console у себя на сайте.
После подтверждения переходим на вкладку “Посмотреть как Googlebot” далее добавляете страницы и нажимаете “Запросить индексирование”. Справа появится дата, когда документ был отправлен на индексирование, а слева статус, если он уже проиндексирован, то появится статус “Готово”.
Как правило в Google страницы индексируются чаще любой другой поисковой системы, поэтому долго ждать не придется за 1 неделю документы появятся в выдаче.
Индексация в поисковой системе Яндекс проходит гораздо реже, вероятность того, что сайт проиндексируется без добавления в Вебмастер очень мала.
Поэтому ниже скидываю гайд о том как добавить сайт в Яндекс Вебмастер:
Полное руководство по Яндекс Вебмастер
Сайт закрыт от индексации в robots.txt
Это самая частая проблема, почему ваш сайт до сих пор не проиндексирован.
Наличие файла robots.txt считается ключевым требованием при SEO-оптимизации абсолютно любого сайта. Отсутствие его может негативно сказаться на нагрузку со стороны роботов и медленной индексации, и даже более того сайт полностью не будет проиндексирован. Соответственно пользователи не смогут перейти на страницы через Яндекс и Google.
Бывает и такое, что при разработке сайта все страницы закрывают от индексации, дабы в выдачу не попала тестовая информация, которая никак не относится к компании.
Выглядит в robots.txt это так:
Disallow: /
Эта фраза означает, что сайт закрыт от индексации.
Чтобы закрыть индексацию от поисковой системы Google, но открыть для Яндекса (закрыв например раздел админки) необходимо прописать:
User-agent: Googlebot
Disallow: /
User-agent: Yandex
Disallow: /admin/
Host: site.ru
Директива Host необходима, чтобы поисковые системы правильно определяли зеркало сайта.
Чтобы перейти к файлу robots.txt необходимо ввести в адресной строке браузера:
site.ru/robots.txt - где сайт это название вашего сайта
На скриншоте пример нашего файла robots.txt
Кстати, если хотите более подробнее ознакомитБся с роботсом, читайте статью
Как правильно прописать robots.txt
Сайт закрыт от индексации через meta name robots
Тег meta name robots прописывается на нескольких страницах и не может быть применен ко всему сайту, для этих целей есть robots.txt
Данная строка говорит поисковой системе не индексировать сайт
<meta name=”robots” content=”noindex,follow” />
Если вы нашли подобную строку на страницах своего сайта, попросите программиста или удалите тег, который располагается в шапке <head>.
Попросить поисковые системы не индексировать сайт
По факту это тот же meta name robots noindex, nofollow, но применим ко всему сайту. Он уже встроен в настройки в CMS.
Например:
Чтобы убрать эту настройку в CMS Wordpress необходимо зайти в Настройки - Чтение и убрать галочку с блока Видимость для поисковых систем.
На сайт наложены санкции со стороны поисковых систем
Страницы сайта могут не индексировать и по другим причинам. К примеру, сайт содержит множество дублей.
Посмотреть какие страницы являются дублями, вы можете через Яндекс Вебмастер. Для этого необходимо выбрать сайт, далее Индексирование - Страницы в поиске и нажать на таб Исключенные страницы. Далее через столбец статус отфильтровать по названию - Дубль.
Выводятся дубли вашего сайта. Проблема может возникает из за некорректности CMS сайта. Например, большое количество дублей встречается в Joomla и OpenCart. Всё решается через установку плагина или доработкой сайта со стороны программиста.
Так же ваш сайт мог попасть под фильтр АГС - поисковая система Яндекс посчитала, что ваш сайт не несет никакой пользы посетителям и исключила большую часть страниц из индекса.
Безусловно, необходимо сначала написать в поддержку Яндекс Вебмастера и разобраться в причине не индексирования сайта.
То же самое имеется и у Google, более известный под именем Google Panda. Смысл алгоритма практически такой же, ведь поисковики стремятся показать в выдаче только качественные сайты.
Более подробнее про поисковые системы читайте в статье:
Поисковые системы - список популярных систем в России
Заключение:
Важная задача при индексации сайта - проявление внимательности, от этого будет зависеть и дальнейшее продвижение вашего сайта. Желаю успехов в продвижении сайтов, если у вас остались вопросы задавайте их в комментариях.