Индексированием сайта, при желании, можно (и нужно) управлять.
👀Один из способов — выборочно позволять поисковику «видеть» одни разделы ресурса, чтобы другие при этом были скрыты. Сделать это можно, настройками файла robots.txt, который находится в корневой папке сайта. При добавлении или удалении команд в него, меняется перечень данных, к которым может обращаться поисковый робот.
📈По умолчанию роботы индексируют все существующие страницы сайта и информацию в них. Поэтому владельцу ресурса, нужно самостоятельно добавить исключения в файл. Для этого нужно все данные разделить на общие, конфиденциальные и технические.
📃В файле зачастую присутствуют страницы-дубли, запрещать которые не рекомендуется. Лучше воспользоваться директивой Clean-param: она соединит совпадающие элементы. Также для решения задачи актуален атрибут rel=«canonical».
✅ВЫВОД: настройка файла robots.txt важная процедура в SEO-оптимизации. Уповать на разборчивость поисковых роботов не стоит, настройте все команды вручную.
P.S.
Нужно больше маркетинга?
