Чел на Реддите жалуется, что 2/3 трафика на его сайт формируют ... ИИ боты :) а не люди! Сейчас сайт работает на VPS за три доллара вместе с SQLite и Golang, и сбоев нет. Через четыре дня после публикации доля запросов от LLM ботов выросла до 98 процентов, после чего автор заблокировал их :)
В комментариях советуют оставить доступ для GoogleBot, Bingbot и OpenAI, а остальным давать капчу с помощью правил Cloudflare. В РФ, напомню, Cloudflare не работает.
Почитайте тут, забавно конечно... Прикиньте, как ИИ - боты нагружают сайты
