IT-компания через неделю после анонса представила «ИИ лабиринт». Функция была создана для борьбы с нелегальным сбором данных на информационных ресурсах.
С помощью инструмента компании, чьи автоматические программы или скрипты без разрешения собирают на сайтах информацию для обучения языковых моделей, не смогут работать, как делали это прежде. По статистике, ИИ-краулеры каждый день генерируют порядка 50 миллиардов запросов. Это примерно 1% от всего обрабатываемого трафика. Проблема в том, что многие из них собирают информацию без предупреждения владельцев ресурсов. Из-за этого авторы контента, издатели подают многочисленные судебные иски.
Разработка Cloudflare не блокирует скрипты, а заманивает их в лабиринт из правдоподобных, но нерелевантных страниц. Таким образом, краулеры тратят время и вычислительные ресурсы, но они не могут пройти бесконечный лабиринт, чтобы получить контент без согласования с его владельцем. Информация в лабиринте кажется правдоподобной, хотя в действительности в ней нет содержимого исходных сайтов.
Алгоритм тщательно прорабатывался перед запуском. При его создании были использованы научные факты, что позволяет избежать распространения дезинформации. Эксперты проверили, после запуска лабиринта для ИИ-ботов страницы-ловушки работают. При этом обычные посетители их не видят.