Индексация — процесс, в ходе которого краулеры сканируют сайт и сохраняют все его содержимое в базы данных поисковых систем. Когда пользователь создает поисковый запрос, поисковик находит нужную информацию в своей памяти и рекомендует человеку сайт, на котором она размещена. Если материалы на сайте дают развернутый ответ на запрос, контент считается полезным и веб-ресурс хорошо ранжируется. Проблема заключается в том, что поисковые пауки сканируют каждую веб-страницу сайта, даже если она не имеет полезного контента, например, дублирует данные из другого раздела. Это значит, что некоторые веб-страницы сайта будут признаны малоценными и будут исключены из показа в поисковой выдаче. Чтобы поисковые роботы оценивали качество сайта только по нужным страницам, остальные необходимо закрыть от индексации в Яндекс и Google.
Рассматриваем в материале способы установления запрета на сканирование некоторых веб-страниц.
С помощью robots.txt
Файл robots.txt — документ, в котором содержатся указания по индексации веб-страниц, разделов или всего сайта. Разрешающие и запрещающие правила носят название директивы. За исключение веб-страницы из очереди на сканирование пауками отвечает команда Disallow. Она прописывается в файле robots.txt и ее действие распространяется на всю страницу целиком.
Для запрета индексации сайта только роботам Яндекса нужно прописать:
User-agent: Yandex
Disallow: /
Если запрет устанавливается для роботов Google, то код примет следующий вид:
User-agent: Googlebot
Disallow: /
Чтобы исключить из индексации только одну веб-страницу, необходимо вставить ее URL:
Disallow: URL-страницы сайта
С помощью Noindex
Закрыть страницу или часть ее контента от поисковых роботов можно с помощью внесения указаний в код сайта. Если необходимо скрыть страницу полностью, в HTML-код веб-страниц добавляется метатег «robots» с директивой «noindex». Метатег прописывается в элементе «head».
Когда нужно исключить один из фрагментов текста, используется тег «noindex». Его можно включить в любую часть HTML-кода. После того как откроете тег (<noindex>), укажите текст, который хотите сделать невидимым для поисковиков. Не забудьте поставить закрывающий тег (</noindex>), иначе из поиска пропадет весь контент страницы.
С помощью CMS
Выполнить данную настройку можно с помощью системы управления контентом. Для этого понадобится доступ к ее панели управления. Разберем процесс на примере CMS WordPress:
- Открываем «Панель управления» в CMS.
- Выбираем «Настройки» — «Чтение».
- В разделе «Видимость для поисковых систем» ставим галочку в чекбоксе: «Рекомендовать поисковым системам не индексировать сайт».
- После нажимаем кнопку «Сохранить изменения».
Заключение
Пользователь может самостоятельно управлять индексированием сайта в сети. Однако стоит помнить, что указания, которые он дает поисковым системам, рассматриваются ими как рекомендации, а не жесткие правила. Важно правильно выбирать директивы и внимательно перепроверять отредактированный HTML-код. Самым простым способ скрыть страницу от поисковой системы является создание настроек в CMS.
Интернет Хостинг Центр — платный хостинг для проектов любой сложности. Защита от DDoS-атак на каждом тарифе! 🔒
#хостингдлясайта #sslсертификат #https #сайтостроение #сайтподключ #разработкавеб-сайтов #хостинг #vpsсервер #vdsсервер #серверноеадминистрирование