Исследователи Национального исследовательского ядерного университета МИФИ разработали новую архитектуру нейросети под названием MambaShield, которая устойчива к так называемым атакам «отравления» данных (data poisoning).
Чем опасно «отравление» данных для ИИ
Такие атаки — одна из главных угроз для современных систем машинного обучения. Например, когда злоумышленник постепенно внедряет в обучающие данные искажённые примеры, и модель начинает обучаться неправильно.
В результате точность может резко упасть — с 95% до 40%. Это особенно опасно для кибербезопасности, беспилотного транспорта, финансов и промышленности.
Как устроена нейросеть от МИФИ
MambaShield умеет отсеивать вредоносные данные ещё на этапе обучения и не даёт им повлиять на результат. Даже если до 30% обучающей выборки окажется заражённой, точность системы остаётся выше 97%. При этом она работает в 4,2 раза быстрее, чем классические трансформеры.
Архитектура основана на селективных моделях в пространстве состояний. Проще говоря, система сама решает, какие данные оставить, а какие отбросить, фильтруя вредоносные примеры.
В основе MambaShield — сразу три технологии. Прогрессивная дистилляция устойчивости (PARD) позволяет передавать знания от нескольких моделей к одной компактной. Иерархическое обучение с подкреплением (HRL) помогает системе адаптироваться к меняющемуся поведению атакующего в реальном времени. А PAC-Bayesian сертификация даёт математические гарантии устойчивости — даже при значительном «отравлении» данных.
Эксперименты на наборах данных о кибератаках (CIC-IoT-2023, CSE-CICIDS2018, UNSW-NB15) показали: точность обнаружения достигает 99,1%, тогда как у аналогов — около 97%. При атаке она падает всего на 2–3%, в то время как у обычных моделей — на 18–20%.
Есть и ограничения. При работе с очень длинными последовательностями (более 5000 шагов) могут накапливаться ошибки округления. А если вредоносных данных становится слишком много (более 50–70%), любая система начинает давать сбои.
Потенциал для промышленного внедрения
MambaShield уже рассматривается как основа для создания доверенного ИИ. Такие решения можно применять на атомных станциях, в финансовой сфере и медицине, где особенно важны точность и устойчивость.
Разработка опубликована в журнале Expert Systems with Applications и получила грант Минэкономразвития России.