30 подписчиков
Cloudflare запустил инструмент для борьбы с ботами, собирающими информацию для ИИ
Компания Cloudflare запустила новый инструмент для защиты сайтов от ботов, собирающих контент для обучения ИИ-моделей без согласия владельцев. Некоторые корпорации в сфере ИИ позволяют владельцам сайтов блокировать ботов через специальный файл robots.txt. Однако далеко не все владельцы подобных ботов соблюдают установленные правила: многие намеренно обходят их, адаптируются и меняют алгоритмы, чтобы избежать обнаружения.
Для решения данной проблемы в Cloudflare проанализировали трафик краулеров и разработали автоматические модели их обнаружения. Они учитывают разные факторы, в том числе включая попытки ботов имитировать действия человека, использующего веб-браузер.
Кроме того, специалисты сервиса создали специальную форму, с помощью которой возможно сообщать о подозрительных ботах и сканерах. Как пишет TechCrunch, на основе полученных данных Cloudflare вручную заносит ИИ-ботов в черный список.
Около минуты
4 июля 2024