Футпринты (англ footprint — след) - это характерные признаки, которые отличают определенные веб-ресурсы. По этим следам поисковые системы вычисляют сетки сайтов, принадлежащим одному владельцу. Почему это так важно? Есть определенные фильтры, которые блокируют сетки сайтов (аффилиаты, сателлиты, PBN-блоги). Часто бывает очень выгодно иметь много площадок для определенных целей. Так например, можно собирать целевой трафик с поисковых систем для монополизации какой-либо ниши. Аффилиат фильтр - это метод определения сайтов, которые Яндекс исключает из поиска по целому комплексу причин...

Подробный мануал от Sphinx IT о составлении файла robots.txt: как адаптировать под требования поисковых систем, найти на сайте и написать с нуля. Два способа поиска мусорных страниц для блокировки. Дефолтный шаблон...