Без индексации сайта невозможно его продвижение — ведь оно начинается с попадания сайта в индексы поисковых систем.
В этой статье преподаватели и авторы курсов школы Семантика собрали все, что нужно знать об индексации!
Что это такое
Индексация сайта — это процесс поиска, сбора, обработки и добавления сведений о сайте в базу данных поисковых систем.
Индекс поисковиков можно представить как огромный веб-каталог. Роботы тщательно анализируют новые сайты, прежде чем добавить их в индекс поисковой системы, изучают уникальность и полезность ресурса, проверяют его на наличие ошибок.
Процесс индексации включает следующие этапы:
- поисковая система узнает о появлении страницы;
- система планирует обход страницы;
- запрашивается контент страницы;
- страница включается в поиск и появляется в результатах выдачи.
Как попасть в индекс поисковых систем
Поисковики должны узнать о создании сайта, чтобы проиндексировать его. Поэтому о новом сайте или странице нужно сообщить поисковым системам.
Это можно сделать:
- с помощью инструментов поисковых систем. У Google это сервис Search Console, у Яндекса — Яндекс.Вебмастер. Здесь можно отправлять ссылки на отдельные страницы сайта для их индексации. А если требуется проиндексировать целый сайт, лучше всего указать в Search Console и Яндекс.Вебмастер ссылку на карту сайта в формате файл Sitemap;
- с помощью внешних и внутренних ссылок. Ссылки на новую страницу с других ресурсов или других страниц сайта помогут роботам быстрее ее заметить и начать индексацию.
Индексация целого сайта обычно занимает 1-2 недели, индексация страницы в отдельных случаях может произойти менее, чем за сутки.
Проверяем индексацию
Проверка индексации всех страниц сайта — обязательное мероприятие во время проведения технического аудита сайта.
Проверить индексацию можно разными способами:
С помощью Яндекс.Вебмастера и Search Console
В Яндекс.Вебмастер есть инструмент «Проверить статус URL», куда нужно просто вставить ссылку на интересующую вас страницу.
При работе в Search Console в верхней части экрана имеется поисковая строка. Нужно ввести туда ссылку на страницу — и откроется форма с информацией о том, есть ли URL в индексе Google.
С помощью сторонних сервисов
Простой и быстрый способ проверить индексацию сайта — ввести URL на странице специального сервиса. Для этого подходят, например, сервисы PR-CY.RU или Серпхант.
С помощью команды «site»
Для проверки можно ввести в строку поиска Яндекс или Google поисковой запрос формата «site:mysite.ru» — и вы увидите все страницы, попавшие в выдачу. Такой вариант проверки подходит, если вы пока не хотите добавлять сайт в сервисы веб-мастеров.
Ускоряем индексацию
Сидеть и ждать, пока роботы сами найдут и проиндексируют сайт — не наш вариант!
Вот что следует сделать, чтобы сайт прошел индексацию как можно быстрее:
- добавить сайт в поисковики через сервисы для веб-мастеров;
- разместить ссылки на новые страницы на других сайтах и в социальных сетях;
- сделать внутреннюю перелинковку страниц;
- указать ссылки на файлы Sitemap и robots.txt. в Search Console и Яндекс.Вебмастер;
- регулярно добавлять новый контент на сайт.
Как закрыть страницу от индексации
Некоторые страницы нужно прятать от роботов, если они не нужны в выдаче или могут не понравиться поисковикам. Обычно это служебные страницы или страницы, которые находятся в разработке.
Вот как можно скрыть страницу от индексации:
- с помощью файла robots.txt. Этот файл существует для того, чтобы давать команды поисковым роботам: какие файлы предназначены для индексации, а какие — нет. Чтобы скрыть страницу от роботов, используйте команду Disallow;
- с помощью тега noindex в HTML-коде страницы;
- с помощью формы авторизации.
Как научиться все это делать самостоятельно
Если после прочтения этой статьи у вас остались вопросы, рекомендуем вам записаться на курс «Технический аудит сайта своими руками» от тимлида студии поискового маркетинга Semantica Юлии Персидских!
Здесь вы научитесь:
- работать с сервисами для веб-мастеров;
- составлять корректный файл robots.txt;
- проверять и ускорять индексацию сайта;
- и это только малая часть того, что вам предстоит здесь освоить!
Бомба, а не курс! Скорее записывайтесь!