Вы свои логи веб-сервера смотрите же
? 203.0.113.45 GET /blog/ai GPTBot/1.0 198.51.100.22 GET /docs ClaudeBot 192.0.2.15 GET /news Claude-User Сервера стали как бесплатная столовая для ботов. Боты выкачивают гигабайты контента. По данным Cloudflare, AI-боты уже сгенерировали больше трафика, чем все классические поисковики. Какие из них вы блокируете или лимитируете? Я вижу что есть несколько типов 1) Боты для обучения моделей: GPTBot (OpenAI), ClaudeBot (Anthropic), Bytespider (ByteDance), CCBot Не дают ни трафика, ни лидов. Только расход CPU и канала. 2) AI-поиск и ассистенты: OAI-SearchBot (OpenAI), Claude-SearchBot, Claude-User, PerplexityBot...