Файл robots txt для сайта. Как создать правильный robots txt
Как настроить robots.txt для GPTBot и AI-краулеров: чек-лист для сайта услуг
Студия дизайна в ТОПе Google и Яндекса, а ChatGPT про их услуги молчит. В robots.txt - только запрет /wp-admin/, Allow для Googlebot и YandexBot, но GPTBot и PerplexityBot не прописаны. Cloudflare резал PerplexityBot по IP, хотя файл ничего не запрещал. Боль: страшно запретить GPTBot и потерять GEO, или открыть кабинет всем краулерам. За 30-60 минут разделите SEO-роботов и AI-агентов, пропишете Allow/Disallow и проверите robots.txt, WAF и HTML на сервере. robots.txt - текстовый файл в корне сайта: он говорит роботам, какие папки обходить...