1 год назад
Режим невидимки: закрываем сайт от индексации с помощью robots.txt
Вы уже знаете, как защитить свой сайт от кражи контента и что делать, если его все же украли. Сегодня продолжим говорить о проработке SEO. У веб-мастеров часто появляется необходимость ограничить доступ ко всему сайту или каким-либо его разделам. Практически на любом ресурсе есть то, что стоит спрятать и от поисковых роботов, и от посетителей. Речь идет о дубликатах, профилях пользователей и других страницах с малосодержательным или неуникальным контентом. Их обязательно нужно закрывать от индексации, чтобы сайт не терял позиции в поисковой выдаче...
3 года назад
Настраиваем robots.txt правильно
Правильная индексация страниц сайта в поисковых системах одна из важных задач, которая стоит перед владельцем ресурса. Попадание в индекс ненужных страниц может привести к понижению документов в выдаче...