Основными директивами robots.txt являются Disallow и allow они соответственно запрещают позволяют роботу индексировать соответствующие страницы. Кратко в видео за пару минут: Важно. robots.txt является лишь рекомендацией, а не жестким правилом для робота поисковой системы...

Другие статьи по теме: Disallow Директива, которая позволяет блокировать от индексации полностью весь сайт или определённые разделы. Может быть полезно для закрытия от сканирования служебных, динамических или временных страниц (символ # отвечает за комментарии в коде и игнорируется краулерами). User-agent: * # Закрываем раздел /cms и все файлы внутри Disallow: /cms # Закрываем папку /images/resized/ (сами изображения разрешены к сканированию) Disallow: /api/resized/ Упростить...