Содержимое сайта условно делится на две части: публичную — ту, которую индексируют поисковые роботы и видят пользователи, и скрытую — запрещенную к индексации из-за дублирования контента или наличия конфиденциальных данных (логи сервера, страница авторизации в панели управления и т. д.). Краулеры не сами решают, какая информация является полезной и требует показа поисковой выдаче, а какая носит технический характер. Они следуют правилам индексации конкретного веб-ресурса, прописанные в коде проекта или в специальном системном файле...

Наращивание ссылочной массы здорово влияет на продвижение сайта в поиске Google и Яндекс. Как? Поисковики любят сайты, на которые ссылаются другие авторитетные сайты. И в этом есть логика. Однако, в погоне за ссылками SEO специалист может нагнать грязный и ненужный трафик с сайтов, которые зарабатывают на размещении у себя чужих ссылок. Они часто не заботятся о своей репутации и берут дешевизной. Профессионал своего дела никогда не попадется на такую удочку и лучше купить одну дорогую ссылку, чем 1000 дешевых...