Думаю, многие уже знают, что алгоритмы поисковых систем сейчас понижают сайты с большим числом некачественных страниц. Связь между падением позиций и ростом некачественных страниц можно увидеть на большом числе сайтов. Давайте разберёмся, как почистить некачественные страницы сайта с помощью файла robots.txt. Сразу оговорюсь, что не все типы страниц можно убрать с помощью этого файла. Но очень многие возможно. А с учетом того, что перезалить файл robots.txt занимает примерно 2 минуты, это один из самых простых способов убрать некачественные страницы...