Вы уже знаете, как защитить свой сайт от кражи контента и что делать, если его все же украли. Сегодня продолжим говорить о проработке SEO. У веб-мастеров часто появляется необходимость ограничить доступ ко всему сайту или каким-либо его разделам. Практически на любом ресурсе есть то, что стоит спрятать и от поисковых роботов, и от посетителей. Речь идет о дубликатах, профилях пользователей и других страницах с малосодержательным или неуникальным контентом. Их обязательно нужно закрывать от индексации, чтобы сайт не терял позиции в поисковой выдаче...

Индексация — процесс, в ходе которого краулеры сканируют сайт и сохраняют все его содержимое в базы данных поисковых систем. Когда пользователь создает поисковый запрос, поисковик находит нужную информацию в своей памяти и рекомендует человеку сайт, на котором она размещена. Если материалы на сайте дают развернутый ответ на запрос, контент считается полезным и веб-ресурс хорошо ранжируется. Проблема заключается в том, что поисковые пауки сканируют каждую веб-страницу сайта, даже если она не имеет полезного контента, например, дублирует данные из другого раздела...