Скрытые промпты заставили ИИ-агента красть данные Gmail

Redware показала, как ИИ‑агента можно использовать для утечки данных: в эксперименте Shadow Leak исследователи задействовали инструмент Deep Research в составе ChatGPT и через «инъекцию промптов» заставили его собрать и передать конфиденциальную информацию из Gmail. Уязвимость уже закрыта OpenAI, но случай демонстрирует риски ИИ‑агентов.

Как это работало

• ИИ‑агенты получают доступ к почте, календарям и документам и действуют без постоянного контроля пользователя.
• В письмо для жертвы встроили скрытые инструкции (например, белый текст на белом фоне).
• Когда пользователь запустил Deep Research, агент при разборе почты «прочитал» эти скрытые команды: найти письма HR и персональные данные и переслать их злоумышленникам.

Почему это опасно

• Эксплойт сработал внутри облачной инфраструктуры OpenAI, оставаясь невидимым для привычных средств защиты.
• Исследователям потребовалось время, чтобы добиться устойчивого выполнения скрытых команд, но принципиальная возможность показана.
• Потенциально уязвимы и другие сервисы, связанные с Deep Research: Outlook, GitHub, Google Drive, Dropbox.

Что делать

• Ограничивать права ИИ‑агентов и включать по принципу наименьших привилегий.
• Использовать шифрование/токенизацию чувствительных данных.
• Включать журналы действий ИИ‑агентов и мониторинг аномалий.
• Фильтровать входящие письма/веб‑страницы на наличие скрытых инструкций (prompt injection).

Обратите внимание: После 19 сентября возврата не будет: Какую погоду принесёт Тольятти мощный антициклон