Содержимое сайта условно делится на две части: публичную — ту, которую индексируют поисковые роботы и видят пользователи, и скрытую — запрещенную к индексации из-за дублирования контента или наличия конфиденциальных данных (логи сервера, страница авторизации в панели управления и т. д.). Краулеры не сами решают, какая информация является полезной и требует показа поисковой выдаче, а какая носит технический характер. Они следуют правилам индексации конкретного веб-ресурса, прописанные в коде проекта или в специальном системном файле...

Noindex Nofollow используем для оптимизации. Закрываем служебную информацию от посторонних глаз. Сегодня поговорим об использовании тега noindex и атрибута nofollow для качественной оптимизации ресурса. При условии грамотного применения этих тэгов можно обеспечить грамотное обдуманное продвижение страниц сайта. Поэтому рассмотрим, какой целью следует их применять. Использование тега noindex на страницах и robots.txt Название говорит само за себя - тег блокирует индексацию определенного участка html-кода на странице или страницу целиком...