15 подписчиков

🔍 Cybench: бенчмарк оценки LLM по поиску уязвимостей

Исследователи из Стэнфордского университета представили Cybench — фреймворк для оценки возможностей и рисков использования языковых моделей (LLM) в кибербезопасности. Cybench создан для проверки ИИ-агентов на способность идентифицировать уязвимости и проводить атаки, автоматизируя процессы, которые ранее требовали участия человека.

🔧 Основные возможности Cybench:

- Автоматизированное сканирование: Cybench позволяет проводить автоматизированные тесты, которые включают выполнение команд и анализ результатов без участия человека.

- Поддержка различных LLM: Инструмент может работать с моделями от OpenAI, Hugging Face и многими другими.

- Градиентная оценка задач: Cybench включает 40 задач уровня профессиональных Capture the Flag (CTF) соревнований, что позволяет более точно оценивать возможности моделей через последовательные промежуточные этапы (subtasks).

- Обширная поддержка задач: Задачи включают категории криптографии, веб-безопасности, реверс-инжиниринга, криминалистики, эксплуатации уязвимостей и других навыков, необходимых для профессиональной кибербезопасности.

🚨 Проблемы и результаты:

- Текущие ИИ-агенты способны решать только самые простые задачи из набора Cybench.

- Наиболее успешные модели, такие как Claude 3.5 Sonnet и GPT-4o, достигают успеха в 17,5% и 29,4% случаев соответственно при выполнении сабтасков.

- Cybench выделяет задачи по уровню сложности, основываясь на времени решения реальными командами, что помогает установить более точные метрики для оценки ИИ.

🌐 Применение и выводы:

Cybench демонстрирует, что текущие LLM модели имеют ограниченные возможности в сложных задачах кибербезопасности. Тем не менее, этот инструмент помогает определить пробелы в защите и выявить потенциальные области для улучшения, подчеркивая необходимость дальнейших исследований и разработки надежных ИИ-агентов.

🔗 Чтобы узнать больше о Cybench, посетите официальный сайт проекта.

Stay secure and read SecureTechTalks 📚

#cybersecurity #AI #Cybench #MLmodels #SecureTechTalks

🔍 Cybench: бенчмарк оценки LLM по поиску уязвимостей Исследователи из Стэнфордского университета представили Cybench — фреймворк для оценки возможностей и рисков использования языковых моделей (LLM)

1 минута

4 сентября 2024