В Минобрнауки рассказали о новой ИИ, защищенной от атак с отравлением данных.
АНАСТАСИЯ ЖИГИНА
Специалисты НИЯУ МИФИ разработали нейросеть MambaShield, защищённую от атак отравлением данных. Её можно использовать на серверах, в банках, медицине и промышленности. Об этом сообщили в пресс-службе Минобрнауки.
Почему это важно
Большинство современных ИИ-моделей, включая те, что лежат в основе ChatGPT, уязвимы перед атаками отравления. Если злоумышленник добавит в обучающие данные вредоносные образцы, логика работы модели изменится. Это позволяет украсть деньги, получить секретную информацию или навредить скрыто, так как внешне ИИ продолжает работать нормально.
В МИФИ объясняют:
"MambaShield - это фундамент для доверенного искусственного интеллекта. Его можно ставить на атомные станции, в финансовые и медицинские организации, не боясь, что одна хитрая картинка или пакет данных испортит всю модель".
Как работает новая модель
Учёные использовали архитектуру селективных моделей в пространстве состояний (sSSM). Они способны адаптироваться к входным данным и решать, какую информацию сохранить, а какую отбросить.
Авторы приводят простую аналогию: "Представьте, что вы слушаете разговор в шумном кафе. Обычный ИИ пытается уловить все звуки сразу: звон ложек, музыку, голоса. MambaShield же фокусируется только на словах нужного собеседника, отфильтровывая атакующие вставки и злонамеренный шум".
Цифры и испытания
Даже если отравить 30 процентов обучающих данных, точность модели останется выше 97 процентов. Учёные проверили MambaShield на трёх сложнейших наборах данных о кибератаках с миллионами образцов вредоносного трафика. Результаты впечатляют:
- точность обнаружения - 99,1 процента;
- при атаке точность падала всего на 2-3 процента;
- модель работала в 4,2 раза быстрее классического трансформера.
Работа опубликована в журнале Expert Systems with Applications и получила грант от Минэкономразвития по программе развития центров искусственного интеллекта.
Уважаемые читатели "Царьграда"!
Присоединяйтесь к нам в соцсетях "ВКонтакте" и "Одноклассники", также подписывайтесь на наш телеграм-канал.
Если вам есть чем поделиться с редакцией "Царьград. Беларусь", присылайте свои наблюдения, вопросы, новости на электронную почту belorussia@Tsargrad.TV.