Основными директивами robots.txt являются Disallow и allow они соответственно запрещают позволяют роботу индексировать соответствующие страницы. Кратко в видео за пару минут: Важно. robots.txt является лишь рекомендацией, а не жестким правилом для робота поисковой системы...