Вы наверняка бывали в поликлинике и видели огромные стеллажи с карточками в регистратуре. Индекс поисковой системы – это вот такие «огромные стеллажи», своеобразная база, в которой хранятся адреса веб-страниц. Поисковик по ключевым словам находит страницы, сохраненные в этой базе, ранжирует, и выводит пользователю (то, что мы как раз и видим в выдаче).
Карточка в регистратуре сама по себе не появляется, ее нужно завести. Чтобы страницы показывались пользователям, нужно для начала, чтобы они прошли индексацию - оказались в этой базе. Кроме того, необходимо понимать – у каждого поисковика своя база, соответственно нужно попасть в каталог и Яндекса, и Google.
Каким образом происходит индексация сайта
Для проведения индексации поисковая система с помощью специальных программ (роботов, пауков) сканирует страницы, считывает информацию на них, добавляет в каталог. Сканирование происходит, когда:
- адрес добавлен через панель веб-разработчика;
- на сайте есть ссылка, ведущая на другие страницы (перелинковка);
- подошел срок переиндексации;
- робот находит ссылку на этот сайт на стороннем ресурсе, на котором уже проиндексирована страница.
Во время считывания информации программа проверяет соответствие контента и его полезность для пользователей. Если проверка пройдена, то текст делится на словосочетания и слова, в базу заносятся данные о новых страничках, релевантных выделенным из текста поисковым фразам.
Период индексирования может составлять несколько минут, а может затянуться на несколько дней. Важно понимать, что только страницы из каталога принимают участие в ранжировании, поэтому нужно, чтобы индексация сайта (новых страниц) произошла как можно скорее.
Что может повлиять на скорость
- Частота и регулярность обновления контента. При постоянном добавлении контента роботы будут заглядывать на сайт чаще.
- Наличие ссылок. Как внутренние, так и внешние они подсказывают роботу, что на веб-ресурсе обновился материал.
- Дополнительные инструменты. К ним относят – репосты в соцсетях, контекстную рекламу, ведущую на новую страницу, подключение RSS.
- Использование возможных технических инструментов. Об этом далее.
Что технически можно сделать для ускорения индексации
У каждого поисковика есть свои программы, которые сканируют Интернет. Через какое-то время они обязательно доберутся и до вашего сайта. Однако, ждать пока они «зайдут в гости» - нецелесообразно, так как теряется время. Поэтому, лучше всего «пригласить» их, а заодно и обозначить правила индексирования.
Для этого можно использовать:
- Файл robots.txt. Это обычный текстовый документ, где прописывается перечень правил для робота. Здесь можно указать условия как для всех поисковых систем, так и для каждой отдельно. В нем отмечаются страницы, которые не нужно сканировать (неинформативные, но необходимые для работы), добавляется адрес карты сайта (sitemap). Проверить, насколько корректно составлен файл, можно с помощью специальной формы на Яндекс.Вебмастере или инструмента в Google Search Console.
- Файл sitemap.xml или карта сайта – это перечень страниц, которые необходимо проиндексировать. Если на веб-ресурсе десяток страниц, то робот и без подсказок их просканирует, а если несколько сотен? Конечно, не успеет за отведенное время. Именно для определения приоритета – что следует отработать в первую очередь - и создается карта сайта.
При составлении файлов учитывайте, что они не должны противоречить друг другу. Страницы, закрытые для индексации, не должны находиться во втором текстовом документе вообще.
После того, как документы готовы, сайты необходимо добавить в Яндекс.Вебмастер и Google Search Console. Обычно указывается главная страница, а роботы, ориентируясь на robots.txt и sitemap.xml, «пройдутся» по все остальным.
Следует понимать, что добавление в панели вебмастера вовсе не означает попадание в индекс, это произойдет только после обработки роботами страниц.
- Структура. Она продумывается еще во время разработки сайта. Чем меньше уровней, тем быстрее будет проходить индексация. Более глубокие уровни индексируются дольше.
- Перелинковка. Робот, попадая на страницу, обязательно обнаружит на ней ссылки (если они там есть) и поставит страницы, на которые они ведут, в очередь индексации. Таким образом, чем больше «связок» на сайте, тем быстрее робот обрабатывает страницы.
- Ответы сервера. Для индексации страница должна отдавать код 200. Не стоит использовать несколько редиректов. Целесообразно настроить индексацию сразу на конечный адрес.
- Валидность кода. Исходный код должен соответствовать определенному стандарту, чтобы проверить можно воспользоваться validator.w3.org. Учитывайте, что страничка должна корректно выглядеть независимо от браузера, в котором открывается.
- Работа сервера. Он должен работать всегда. Представьте, пришли гости, а вас дома нет. Так же и с индексацией – роботы заглянули на ваш ресурс, а сервер не работает. Если проблемы появляются часто, следует заменить хостера.
Как ускорить процесс
- На главной странице размещать адреса на вновь появившиеся или очень важные страницы. Это может быть специальный блок, в котором публикуются ссылки на новости или обзоры, или подборка лучших / востребованных / популярных моделей из каталога. Проиндексировали? Отлично. Убираем эти, добавляем другие.
- Рассказать о своем сайте (разместить ссылки) на быстро индексируемых ресурсах. На них используются быстророботы. Программы отслеживают разделы с высокой активностью и добавляют их в каталог через несколько минут. Ссылка с такого сайта существенно ускорит индексацию.
- Регулярно размещать новые тексты, видео-информацию – активно поддерживать «жизнь» на сайте. На такой ресурс поисковики заглядывают чаще.
- Задать скорость обхода в настройках Яндекс.Вебмастера. Она рассчитывается автоматически, но значение можно изменить вручную.
- Автоматически передавать код страницы с установленным счетчиком при интеграции Яндекс.Вебмастер с Метрикой
Когда сайт не попадает в индекс или выпал из него?
Вариантов несколько:
- На сайте есть технические ошибки – найти и устранить.
- Поисковиками обнаружен неоригинальный контент – заменить.
- Сайт попал под фильтры поисковых систем.
- Не всегда доступен сервер.
Узнать, что проиндексировано, а что нет, а также найти причину отказа в индексации можно, воспользовавшись панелью вебмастера.
Поисковики проиндексируют столько страниц, сколько нужно. Для этого нужно принципы индексации – правильно указать данные в robots.txt и sitemap.xml, убрать технические ошибки, регулярно добавлять на сайт полезный контент. И тогда ваш веб-ресурс не останется без внимания.