Найти в Дзене
Лобушкин

Еще одно интересное исследование в области ИИ и кибербезопасности

Еще одно интересное исследование в области ИИ и кибербезопасности. Исследователи из Radware показали, как можно использовать ИИ-агента ChatGPT и инструмент Deep Research для скрытой кражи данных из Gmail. Атака под названием Shadow Leak строилась на prompt injection — скрытых инструкциях в письме, которые заставляли ИИ действовать в интересах мошенников. Если пользователь активировал Deep Research, агент читал эти скрытые команды, искал HR-письма и персональные данные, а затем пересылал их хакерам. Всё происходило незаметно: утечка шла напрямую через облако OpenAI, обходя стандартные системы защиты. И хотя уязвимость уже пофиксили, исследователи предупреждают, что аналогичным образом можно атаковать и другие сервисы, подключённые к ИИ (Outlook, Google Drive, Dropbox, GitHub). Получается, сейчас есть серьёзный риск при использовании автономных ИИ-агентов — их по-прежнему можно обмануть скрытыми командами. @lobushkin

Еще одно интересное исследование в области ИИ и кибербезопасности. Исследователи из Radware показали, как можно использовать ИИ-агента ChatGPT и инструмент Deep Research для скрытой кражи данных из Gmail. Атака под названием Shadow Leak строилась на prompt injection — скрытых инструкциях в письме, которые заставляли ИИ действовать в интересах мошенников.

Если пользователь активировал Deep Research, агент читал эти скрытые команды, искал HR-письма и персональные данные, а затем пересылал их хакерам. Всё происходило незаметно: утечка шла напрямую через облако OpenAI, обходя стандартные системы защиты.

И хотя уязвимость уже пофиксили, исследователи предупреждают, что аналогичным образом можно атаковать и другие сервисы, подключённые к ИИ (Outlook, Google Drive, Dropbox, GitHub). Получается, сейчас есть серьёзный риск при использовании автономных ИИ-агентов — их по-прежнему можно обмануть скрытыми командами.

@lobushkin