1 неделю назад
Cloudflare меняет правила для AI-ботов: кого нельзя случайно заблокировать
Сайт открывается, статьи доступны, в robots.txt нет общего запрета. Но поисковый AI-сервис не получает страницу: перед ней его останавливает Cloudflare. Для владельца сайта всё выглядит исправным — проверка через обычный браузер проходит. Одним правилом пытаются ограничить обучение и сохранить поиск. Но у клиентов разные назначения, а некоторые обходчики совмещают несколько сценариев. Если хотите присутствовать в AI-поиске, проверять нужно конкретных ботов и фактические ответы сервера. Надписи «Search разрешён» для такого вывода недостаточно...