🚨 LLM научились автоматически взламывать другие LLM
На arXiv вышло новое исследование про использование языковой модели в качестве генератора атак на другую языковую модель.
🧠 Коротко о главном
Исследователи собрали автоматический цикл:
1️⃣ Атакующая модель генерирует вредный или запрещённый запрос.
2️⃣ Целевая модель с защитами пытается его отклонить.
3️⃣ Оценщик проверяет удалось ли обойти фильтр.
4️⃣ Если не удалось, то атакующая модель меняет формулировку и пробует снова.
Итого имеем сотни или даже тысячи итераций. Подход чем то напоминает brute-force по оптимизации jailbreak-атак.
📈 Рабочий ли механизм?
С каждой итерацией атаки становились:
- точнее,
- хитрее,
- менее заметными,
- лучше адаптированными под конкретную модель.
Атаки начинали работать и против других моделей, даже если они не участвовали в обучении цикла.
То есть появляется переносимость атак.
⚠️ Стоит ли волноваться?
Раньше jailbreak был ручной работой, теперь это автоматизированный процесс.
Если у злоумышленника есть доступ к одной модели и API-доступ к другой,
он может легко автоматически системы защиты.
🔗 Исследование: https://arxiv.org/abs/2602.12681
#LLMSecurity #AdversarialAI #PromptInjection #RedTeaming #CyberSecurity #AISafety #GenAI #AIThreats #SecureAI #SecureTechTalks
