🐍 Быстрые нейросети таят в себе опасные уязвимости
Пока весь AI-мир обсуждает модели, способные обрабатывать книги за секунды, исследователи обнаружили, что их главное преимущество в невероятной скорости, одновременно является ахиллесовой пятой в плане безопасности.
👉 Речь идёт о State-Space Models SSM (архитектурах вроде Mamba и Jamba), которые обрабатывают тексты и данные в десятки раз быстрее классических Transformer'ов, вроде ChatGPT. Они уже внедряются в геномный анализ, клинический мониторинг пациентов и SOC-центры. Однако никто всерьёз не изучал их устойчивость к атакам. Спойлер: там есть уязвимости, которых нет у привычных нейросетей.
🎯 Три новых класса атак
Спектральные атаки: взлом через «частоту» данных
SSM работают как обученные фильтры с характерными частотными характеристиками. Злоумышленник концентрирует возмущения в полосах максимального усиления модели. Другими словами, достаточно слегка «подправить» данные и модель выдаст неверный результат.
⏱️ Отложенные бэкдоры: бомба замедленного действия
Триггер активируется через десятки тысяч шагов обработки. Стандартные методы обнаружения бессильны активация слишком далека от точки внедрения.
🌊 Насыщение ёмкости: заставляем ИИ «уверенно забыть» критически важную информацию
У SSM фиксированная размерность скрытого состояния. Злоумышленник заполняет его максимально сложным контентом и модель «забывает» важную информацию из начала документа.
🧠 Когнитивные риски: модель врёт, а вы ей верите
Человек склонен доверять модели, если она говорит крайне уверено:
➖Автоматизационный bias: у рецензентов нет времени на проверку. Чем больше образцов, тем выше слепое доверие.
➖Authority bias: «на основе полной 10-летней истории» звучит убедительно, даже если модель уже «забыла» половину данных.
➖Sycophantic reinforcement: врач задаёт наводящий вопрос, модель кодирует это в состояние и продолжает подтверждать гипотезу, даже при противоречащих данных.
➖Рекуррентные галлюцинации: ложное убеждение в скрытом состоянии распространяется вперёд, переинтерпретируя правильные данные через призму ошибки.
🔗 Больше о рисках SSM читайте в статье: «Safety, Security, and Cognitive Risks in State-Space Models»
Ваши SOC уже используют быстрые SSM-модели для анализа логов? Возможно, пришло время аудита архитектурных рисков, а не только привычного prompt injection.
Stay secure and read SecureTechTalks 📚
#SSM #Mamba #AIsecurity #AdversarialML #CyberSecurity #SecureTechTalks #GenomicSecurity #ClinicalAI #MITREATLAS
