*Публикация написана в рамках цикла статей про “Идеальный аудит сайта”.
Как только вы наладили сайт, чтобы он корректно собирал хостовые факторы, следует проверить индексацию.
Индексация сайта — это добавление информации о нём в базу поисковых систем. Данный процесс напоминает внесение информации в каталог библиотеки. Информация вносится специалистами, а за её проверку и обработку отвечают поисковые роботы — алгоритмы.
1. Проверка индексации
Проверка индексации сайта происходит на всех страницах. Для больших проектов с сотнями страниц — это один из щепетильных шагов, поскольку нужно промониторить весь сайт вдоль и поперёк. На прицеле такого розыска — дубликаты страниц, пустые страницы и страницы с ошибками. Пока они не устранены, у продвигаемых страниц уменьшается статический вес, а сайт не получает нормальный трафик.
Что нужно для проверки:
- Составить список самых важных страниц сайта и всех страниц сайта.
- Проверить все ссылки с помощью запросов через автоматический парсер ПС.
- Составить 4 списка:все проиндексированные важные страницы;
все проиндексированные мусорные страницы;
все непроиндексированные важные страницы;
все непроиндексированные мусорные страницы.
2. Создание списка непроиндексированных страниц, которые посещал поисковый алгоритм
Иногда страницы не попадают в индекс даже после посещения робота. Такие страницы нужно отличать от страниц, не отображённых в индексе и не посещённых роботом. Архитектура таких страниц обладает значительными различиями.
Этапы работы
- Сделать анализ логов и составить список страниц, где был робот.
- Сделать список важных непроиндексированных страниц, где не было робота.
- Сделать список важных непроиндексированных страниц, где был робот.
- Изучить список непроиндексированных страниц, которые где не было робота. Алгоритм должен просмотреть эти страницы, чтобы они попали в индекс.
- Изучить список непроиндексированных страниц, где был робот. Это страницы с дублями или статическим весом.
3. Проверка возможности индексации важных областей на flash и ajax сайтах
Если при создании сайта вы использовали технологии Flash или Ajax, с индексацией могут возникнуть проблемы.
Какие страницы нужно индексировать, а какие не нужно:
Что делать?
Открыть текстовую сохранённую копию всех типов страниц и найти там тексты, при выкладке которых использовались Flash или Ajax. Если вы нашли текст, значит блок индексируется.
Исключение
Иногда у сайта бывает такая некачественная вёрстка, что даже при отсутствии Flash или Ajax, текст не попадёт в текстовый индекс.
4. Проверка возможности индексации всех страниц сайта при текущих инструкциях robots.txt
Как только вы скорректировали robots.txt, следует проверить доступны ли все важные страницы для индексации.
5. Проверка целесообразности использования , nofollow, meta noindex, meta nofollow, SEOHide
Если допускаются ошибки в инструкциях индексации, важные страницы начинают выпадать из индекса, снижая трафик.
Этапы проверки:
- Проверка по матрице с использованиям сервисов RDS-bar и «СайтРепорт».
- Поиск незакрытых .
- Изучение внутренних и внешних ссылок, которые закрыты в nofollow.
- Изучение страниц, закрытых в meta noindex и в meta nofollow.
- Проверка на наличие SEOHide и его корректной работы.
6. Проверка корректности использования , nofollow, SEOHide
Как только вы составили список страниц, где используются инструкции по скрытию индексации, можно приступать поиску в них ошибок.
Контрольные точки:
- Не закрытый
- Индексируемый SEOHide
- Проверка корректности SEOHide с помощью плагина WebDeveloper
- Важные страницы с meta nofollow, meta noindex
- Nofollow на внутренних ссылках
7. Поиск ошибок при сравнении индексов по категориям и типам страниц
Нужно сравнить списки проиндексированных страниц в разных поисковых системах по тем разделам и типам страниц, где их количество в индексе различается.
Процесс поиска:
- Изучить области сайта, где в одной ПС страниц меньше, чем в другой:
- Открыть страницы из списка проиндексированных и изучить страницы, которых нет в индексе одной из поисковых систем, но есть в другой поисковой системе.
- Изучить страницы в Google, помеченные как supplimental.
8. Анализ динамики индексации сайта
Динамика индексации сайта укажет на слабые места и проблемы проекта. Сведение статистики по списку проиндексированных страниц, собранных с параметром &how=tm показывают возраст страниц и помогают изучить динамику индексации сайта.
9. Проверка robots.txt на ошибки
Если есть ошибка в robots.txt, весь сайт может быть исключен из индекса.
Что делать?
- Открываем сервис http://webmaster.yandex.ru/robots.xml и проверяем закрывает ли robots все ненужные страницы и не находит ли валидатор ошибок.
10. Проверка robots.txt на наличие директив для всех поисковых систем
Яндекс и Google используют различные директивы в robots.txt, инструкции для них следует писать отдельно: User-Agent: Yandex + User-Agent: * обязательно, опционально User-Agent: Google
11. Проверка sitemap.xml на ошибки
С помощью sitemap.xml можно управлять индексацией своего сайта.
В каких случаях все будет работать корректно:
- Ссылка на sitemap.xml есть в robots.txt
- Атрибуты дат страниц расставлены верно
- Приоритеты расставлены верно
- Исключены уже проиндексированные страницы
- Нет страниц, закрытых от индексации в robots.txt
- Нет нарушений валидности составления sitemap.xml
Почему сайт не индексируется в Google? Ёмкий ответ одного из SEO-специалистов:
Подведём итог и сконцентрируем все рассмотренные выше этапы, которые включает в себя индексация сайта:
- Проверка индексации каждой страницы сайта
- Составление списка непроиндексированных страниц, посещённых роботом.
- Проверка возможности индексации важных областей на flash и ajax сайтах.
- Проверка возможности индексации всех страниц сайта при текущих инструкциях robots.txt.
- Проверка целесообразности использования , nofollow, SEOHide.
- Проверка корректности использования , nofollow, SEOHide.
- Сравнение индексов по категориям и типам страниц.
- Поиск в индексе технических страниц.
- Анализ динамики индексации сайта.
- Проверка robots.txt на ошибки.
- Проверка robots.txt на полноту данных.
- Проверка robots.txt на наличие директив для всех поисковых систем.
- Проверка актуальности robots.txt.
- Проверка sitemap.xml на ошибки.
- Анализ расстановки дат индексации и приоритетов в sitemap.xml.
- Проверка актуальности sitemap.xml.
- Поиск запрещённых к индексации страниц в sitemap.xml.
Скачайте PDF версию идеального аудита для самостоятельного продвижения или закажите аудит проекта и его продвижение у нашей команды:
Ознакомьтесь с преимуществами услуги и свяжитесь с нами.
Подробности публикации, как и 200+ кейсов от крупнейших брендов, читайте в нашем блоге https://optimism.ru/blog/idealnyj-audit-sajta-shag-5-proverka-indeksacii-noindex-nofollow-seohide-oshibki-robots-txt-i-sitemap-xml/