ИИ-краулеры — это тараканы интернета, считают многие разработчики. Хотя любой сайт может стать мишенью для веб-краулеров, что иногда может привести к его падению из-за нагрузки, разработчики открытого кода «непропорционально» страдают от ИИ-краулеров. Проблема в том, что многие ИИ-боты не соблюдают Robots Exclusion Protocol и robot.txt. В январе разработчик FOSS описал, как AmazonBot без устали парсил Git-сервер, вызывая DDoS. Блокировать ИИ-краулеров бесполезно, потому что они лгут, меняют свой user agent, используют живые IP-адреса в качестве прокси и т.д. Они будут парсить ваш сайт, пока он не упадет, а потом будут обращаться к нему снова и снова. По словам одного из разработчиков, «даже приходится прибегать к запрету целых стран», чтобы отбиться от ИИ-ботов. В ответ на это создали инструмент под названием Anubis. Anubis — это обратный прокси-сервер, который надо пройти, прежде чем запросы попадут на Git-сервер. Он блокирует ботов, но пропускает браузеры, управляемые людьми. Cloudfl