Сайт сделан и запущен. Теперь приглашаем посетителей на него. Для многих желанны клиенты из поисковой выдачи. В этом материале расскажу как убедиться, что сайт доступен для поисковых ботов и они его смогут нормально обработать.
Проверка открытости сайта для индексации Яндексом
Регистрируем сайт в вебмастере Яндекса
После регистрации нам становятся доступны функции проверки сайта со стороны Яндекса. То есть мы можем увидеть как Яндекс смотрит на наш сайт.
Для нового сайта многие пункты меню будут без информации. Но нам важно сейчас другое. Убедиться, что бот поисковика получит правильный отзыв от сайта.
Проверяем текущую индексацию
Идем в меню сайта и жмем "проверить URL". Проверяем главную страницу и какую-либо статью. Получится примерно так
Тут нажимем на "готово" и смотрим результат. Достаточно увидеть такую надпись
Последний обход роботом
Дата загрузки: 12.06.2015 17:00:01HTTP-статус: ОК (200)
что нам говорит, что робот яндекса нормально прочел страницу. Проблем с индексацией нет.При надписи: "данный адрес не известен роботу яндекса" переходим к следующему шагу.
Проверяем адрес на исключение из индекса
Идем в "настройка индексирования" - "Анализ robots.txt". Добавляем наши пару адресов в список и смотрим результат. Статус "разрешен" говорит, что ограничений на индексацию в файле не стоит. Файл robots.txt лежит в корне сайта. В принципе его можно просто очистить, если проблема в нем. После удаления содержимого - сохраняем - проверяем.
Таким образом отсекаем возможную причину запрета индексации.
Проверяем запрещающие метатеги на страницах сайта
Тут лучше всего не надеяться на движок сайта и смотреть уже сгенерированный код страницы. Открываем страницу сайта. Правую кнопку мыши - "просмотреть код страницы". Ищем метатеги с значениями атрибутов "nofollow", "none" и "noindex" для meta name = "robots".
Проверяем запрет на индексацию в файле .htaccess
Файл лежит в корневой директории сайта. Смотрим через текстовый редактор. Прямого запрета в нем сделать нельзя, но возможны перенаправления робота. Это можно смотреть в последнюю очередь, если робот яндекса упорно не захочет смотреть на ваш сайт.
После выполнения всех действий на 90% можно сказать, что сайт открыт к индексации. Подождите пару недель и проверьте ответ от яндекса через "проверить URL" в вебмастере. Для гарантированного результата рекомендую прогнать пару страниц сайта через сервис гетботгуру. По ссылки материал о нем. Стартового бесплатного пакета вполне хватит для этого.
Проверка открытости сайта для индексации Гуглом
Добавляем сайт в вебмастер гугла. В нем проверяем:
1. Индекс Google - Статус индексирования. Далее Сканирование - Статистика сканирования. Если страницы есть, то всё нормально.
2. Сканирование - посмотреть как гуглбот. Вводим адреса и смотрим ответ от сервиса. Для удобства можно использовать "получить и отобразить".
Далее проверяем как и в случае с Яндексом. Те же файлы и те же настройки.
Самый лучший способ узнать о доступности к индексу это создать фид и самому подписаться на него. Про него писал подробно тут http://drboglav.ru/content/chto-takoe-fid-feed-i-kak-s-nim-rabotat . Создаем новую страницу и к вечеру получаем в письме информацию о ней, если индексация открыта. Инструмент бесплатный и позволяет гарантировать моментальную практически индексацию гуглом.
Владелец сайта предпочёл скрыть описание страницы
Из комментариев пришел вопрос, что означает данная надпись. Она появляется, если на страницы отусутствует тег Title - заголовок страницы или страница запрещена к индексации. Вообще там же на странице ниже должно быть пояснение по этой проблеме или в справке. Раз мы проверили и убедились в открытости нашего сайта, то причина в теге (в его отсутствии).
Посмотреть его наличие очень просто. Открываем страницу. Правую кнопку мыши на любом месте - посмотреть код страницы. Будет что-то типа этого:
Как исправить. Написать заголовки страницы. Это или в движке пункты "о сайте" или "конфигурация". Можно вручную изменить код страницы, если CMS не используете. Обычно этот тег формируется из заголовка сайта / статьи / публикации.
После изменения нужно будет дождаться пока яндекс переиндексирует страницу. На сегодняшний день этот процесс занимает примерно месяц для большинства сайтов. Ускорить можно, если на страницу появится несколько ссылок с разных источников. Если сайт новый и такая проблема с главной страницей можно купить ТИЦ в сервисе тиц.гуру. Свой эксперимент по использованию данного сервиса читайте по данной ссылке. При запуске проставляются ссылки на главную (без анкора, что важно при нашествии минусинска и пингвина), после чего боты яндекса и гугла её быстрее перечитвают. Правда это платный способ.
Так же данное сообщение указывает на плохо структурированный и плохо читаемый яндексом сайт. Поэтому советую:
1. Прописать хотя бы основные метатеги. Они укажут основную информацию о сайте. Пример:
<meta name="description" content="Что такое ТИЦ сайта. Как поднять ТИЦ сайта. Для чего ТИЦ сайту." />
<meta name="keywords" content="Как поднять ТИЦ сайта" />
<link rel="canonical" href="http://linksfree.ru/content/kak-podnyat-tic-sayta" />
<title>Как поднять ТИЦ сайта</title>
В идеале сделать разметку.
2. Наполнить страницу текстовым содержанием. Даже графические и флеш сайты нуждаются в дополнительной информации. Это, например, к какринке прописанный тег Alt
Например:
<a href="/" title="Главная" rel="home" id="logo"> <img src="http://linksfree.ru/tmp/dracon_5_2.png" alt="Главная" />
P.S. По последнему пункту информация взята из справки яндекса и нескольких сайтов в интернете. Поскольку у меня таких сайтов нет, то проверить "на себе" не могу. Просьба в комментариях отпишите по этому вопросу. Информация помогла решить проблему?
Если есть желание сильно ускорить индексацию сайта при определенном риске, то рекомендую прочитать эту статью. Там про сервис, через который можно нагнать "посетителей" на свой сайт. За день если таких придет сотня - другая, то яндекс это заметит и отправит на вас ресурс быстробота. Проверил на себе. Способ раБотает. Но очень рискованный.
Есть замечания и предложения - пишите комментарии. Публикуйте ссылку на странице в соцсетях.
Помог материал - поставьте лайк, оставьте комментарий. Это поможет и другим пользователям интернета найти решение аналогичной проблемы.
Если темы интересны - подиписывайтесь на канал!
✅ Подписаться на этот канал
Рекомендую свои статьи:
- Открыть docx xlsx в офисе 2003.
- Виндовс 10 не подключает сеть Wi-fi
- Что можно удалить из папки Windows
- Горячие клавиши Windows Win+
- Тормозит компьютер с HDD диском - решаем проблему в 99% случаев
- Легко и быстро очищаем системный диск С.
- В браузере смотрим пароли и удаляем вирусы, которые майнят на вашем ПК.
