Robots.txt — это простой текстовый файл на вашем сайте, который говорит поисковикам (Яндекс, Google), какие страницы можно индексировать (включать в поиск), а какие нельзя. Думайте о нём как о табличке «Вход воспрещён» для роботов поисковых систем. Для локального бизнеса этот файл особенно важен — он защищает служебные страницы от попадания в поиск и помогает Яндексу быстрее найти важную информацию о вашем заведении. У каждого сайта есть технические страницы, которые клиенты видеть не должны: Яндекс ежедневно выделяет определённое количество времени на сканирование вашего сайта...