Содержимое сайта условно делится на две части: публичную — ту, которую индексируют поисковые роботы и видят пользователи, и скрытую — запрещенную к индексации из-за дублирования контента или наличия конфиденциальных данных (логи сервера, страница авторизации в панели управления и т. д.). Краулеры не сами решают, какая информация является полезной и требует показа поисковой выдаче, а какая носит технический характер. Они следуют правилам индексации конкретного веб-ресурса, прописанные в коде проекта или в специальном системном файле...

Если вы хоть раз заходили в интернет, то наверняка сталкивались с такими понятиями, как NoFollow и NoIndex. Но что это вообще такое и зачем они нужны? Давайте разберемся! Сегодня я расскажу вам про двух непрошенных гостей в мире веб-сайтов — теги NoFollow и NoIndex. Они как невидимые щиты, которые владельцы сайтов используют, чтобы защитить свои ценные крепости (то есть страницы) от назойливых злобных сил (то есть спама и плохого контента). Давайте разберемся, что они из себя представляют! Ссылки...