Изображение: recraft
Компания Protect AI, недавно приобретённая Palo Alto Networks, представила на саммите по искусственному интеллекту Black Hat в Лас-Вегасе анализ ключевых угроз, с которыми сталкиваются ИИ-системы. Как заявил Шон Морган, главный архитектор Protect AI, активное внедрение агентских ИИ, использующих большие языковые модели, открывает новые векторы для атак, особенно при выполнении автоматизированных действий от имени пользователей.
В отчёте компании указано, что главные риски агентских ИИ можно условно разделить на три блока:
- повреждение контекста во входных инструкциях;
- атаки через динамически подключаемые инструменты и внешние зависимости;
- ошибки в механизмах аутентификации и авторизации.
Как указано в исследовании, наибольшую угрозу представляет именно искажение контекста. Морган отметил, что модели LLM не способны чётко различать легитимные и вредоносные команды, полученные от пользователей или внешних источников. Это открывает возможность атак, схожих с SQL-инъекциями, когда скрытые инструкции встраиваются в вводимые данные и кардинально меняют поведение ИИ.
Кроме того, как отмечается в докладе Protect AI, вмешательство может происходить через разные каналы — историю чатов, внешние базы данных, кэш, долговременную память или репозитории документов. Злоумышленники могут использовать вторичные ИИ-системы для внедрения ложной информации, которая затем будет восприниматься как достоверная, что создаёт каскадные цепочки ошибок.
В качестве примера компания приводит уязвимость EchoLeak в Microsoft 365 Copilot, позволявшую инициировать утечку конфиденциальной информации при открытии письма — даже без прямого взаимодействия пользователя с вложением. Это демонстрирует уязвимость ИИ к манипуляциям через простые форматы, такие как readme-файлы или email.
Отдельный акцент сделан на сложностях, возникающих при взаимодействии между несколькими агентами. В отчёте подчёркивается, что многоагентные системы значительно повышают риск, поскольку дезинформация, созданная одним ИИ, может быть принята за истину другим. Это увеличивает непредсказуемость поведения системы и затрудняет обнаружение аномалий.
Оригинал публикации на сайте CISOCLUB: "Protect AI: исследование выявило три главные киберугрозы для ИИ-агентов с учётом уязвимостей в контексте, цепочке поставок и механизмах авторизации".
Смотреть публикации по категориям: Новости | Мероприятия | Статьи | Обзоры | Отчеты | Интервью | Видео | Обучение | Вакансии | Утечки | Уязвимости | Сравнения | Дайджесты | Прочее.
Подписывайтесь на нас: VK | Rutube | Telegram | Дзен | YouTube.