151 подписчик
Что такое Robots.txt?
Файл robots.txt или индексный файл — обычный текстовый документ в кодировке UTF-8, действует для протоколов http, https, а также FTP. Файл дает поисковым роботам рекомендации: какие страницы/файлы стоит сканировать. Если файл будет содержать символы не в UTF-8, а в другой кодировке, поисковые роботы могут неправильно их обработать.
Правила, перечисленные в файле robots.txt, действительны только в отношении того хоста, протокола и номера порта, где размещен файл.
О том, как работать с файлом, читайте в нашей инструкции: https://nethouse.ru/about/instructions/chto_takoe_robots_txt
Около минуты
5 марта 2022