5964 подписчика
#кибератаки
Киберпреступники могут проводить атаки на искусственный интеллект благодаря «спящим» угрозам в нем — об этом предупредили эксперты
Такие атаки начинаются лишь после того, как модель ИИ получит от хакеров специальное триггерное сообщение, поэтому подобные риски сложно выявлять заранее
О новых кибератаках рассказали исследователи из компании HiddenLayer
Они представили технику ShadowLogic, которая позволяет внедрять в модели машинного обучения так называемые скрытые закладки
Как правило, закладки в ПО дают злоумышленникам доступ к системе для кражи данных или проведения саботажа
Но в случае с техникой ShadowLogic дело обстоит иначе: закладка внедряется на уровне логики модели ИИ — так называемого вычислительного графа, без добавления какого-либо кода
Вычислительный граф — это схема работы модели ИИ, определяющая как последовательность операций, так и процесс обработки данных
Внедренная на уровне графа закладка позволяет проводить атаки на модель и контролировать итоги ее работы
Техника ShadowLogic опасна тем, что ей подвержены модели ИИ любого типа, от классификаторов изображений до систем обработки текста
Обнаружить эту угрозу заранее сложно, причем она сохраняется даже при дополнительном обучении модели, что лишь усиливает ее опасность
Для внедрения закладки злоумышленники, в частности, могут использовать механизмы подсказок-инструкций для модели (promt), которые реализуют jailbreaking‑инъекции
По мнению специалистов HiddenLayer, техника ShadowLogic открывает киберпреступникам возможности для атак на цифровые системы, использующие модели ИИ с графовой структурой, в самых разных сферах — от медицины до финансов
@imaxai Подписаться
1 минута
19 октября 2024