Краткий чек-лист по тому, какие страницы необходимо скрывать от индексации:
• С GET-параметрами (фильтрация, сортировка, поиск, сравнение товаров). Такие страницы не уникальны, на них дублируется контент и мета-теги, поэтому они являются некачественными для поисковых систем и их необходимо скрывать от индексации.
• Пользовательские (личный кабинет, регистрация, авторизация, оформление заказа). Эти страницы бесполезны для продвижения, так как они никогда не станут источником поискового трафика.
• Системные каталоги и файлы.
• Административные страницы по типу site.ru/admanistrator или site.ru/bitrix
• «Мусорные» страницы сайта.
Какие страницы закрывать от индексации не надо:
• Иногда на сайте появляются страницы-дубликаты. Например: ошибочное создание дублирующихся категорий, привязка товаров к нескольким категориям и их доступность по различным адресам или выставление дублированной статьи. В таких случаях закрывать от индексации страницы не надо. Сначала оцените каждую такую страницу: объем трафика, который она принесла, количество внешних ссылок на эту страницу. После анализа данных настройте 301 редиректы с малоэффективных страниц на эффективные, и удалите первые.
• Страницы пагинации в каталоге товаров и прочих разделах, предварительно настроив автоформирование уникальных мета-тегов title, description и keywords (подробнее про пагинацию вы можете прочитать тут – vk.cc/8Aljik).
• Страницы смарт-фильтра. Умный фильтр позволит увеличить объем поискового трафика благодаря низкочастотным запросам. Главное, правильно настроить мета-теги, отдачу 404 ошибки для пустых страниц и карту сайта для полученных страниц смарт-фильтра.