Содержимое сайта условно делится на две части: публичную — ту, которую индексируют поисковые роботы и видят пользователи, и скрытую — запрещенную к индексации из-за дублирования контента или наличия конфиденциальных данных (логи сервера, страница авторизации в панели управления и т. д.). Краулеры не сами решают, какая информация является полезной и требует показа поисковой выдаче, а какая носит технический характер. Они следуют правилам индексации конкретного веб-ресурса, прописанные в коде проекта или в специальном системном файле...

Атрибут rel=”nofollow” — один из самых простых в HTML, но его работу важно понимать, если вы занимаетесь SEO. В этом руководстве от Ahrefs мы разберем его влияние на ссылочную массу, поймем, Важен ли он для поисковой оптимизации, и научимся защищаться от санкций Google...