Студия дизайна в ТОПе Google и Яндекса, а ChatGPT про их услуги молчит. В robots.txt - только запрет /wp-admin/, Allow для Googlebot и YandexBot, но GPTBot и PerplexityBot не прописаны. Cloudflare резал PerplexityBot по IP, хотя файл ничего не запрещал. Боль: страшно запретить GPTBot и потерять GEO, или открыть кабинет всем краулерам. За 30-60 минут разделите SEO-роботов и AI-агентов, пропишете Allow/Disallow и проверите robots.txt, WAF и HTML на сервере. robots.txt - текстовый файл в корне сайта: он говорит роботам, какие папки обходить...

Один файл в корне сайта решает, какие страницы попадут в поиск, а какие нет. Настроишь правильно - роботы Яндекса и Google не тратят время на мусорные страницы и быстрее находят нужные. Ошибёшься в одной строке - и весь сайт выпадает из выдачи, а владелец месяцами не понимает, почему трафика нет. Разберём по-человечески: что это за файл, как он устроен, как написать рабочий robots.txt и какие ошибки в нём встречаются чаще всего. robots.txt один файл в корне сайта 3 строки минимум, чтобы файл работал 2 минуты проверить, не закрыт ли сайт robots...