Исследователь доказал, как популярные LLM могут создавать вредоносное ПО для кражи данных
Специалист по киберугрозам из Cato Networks обнаружил тревожную возможность использования крупнейших языковых моделей (LLM) для создания вредоносного программного обеспечения. В рамках исследования, проведённого для первого ежегодного отчёта о киберугрозах (Cato CTRL), эксперт по разведке угроз Виталий Симонович продемонстрировал, как можно обойти защитные механизмы популярных инструментов генеративного искусственного интеллекта (GenAI) и заставить их разрабатывать вредоносные программы.
Несмотря на отсутствие опыта в написании вредоносного кода, Симонович смог "обмануть" такие платформы, как DeepSeek R1 и V3 , Microsoft Copilot и OpenAI ChatGPT-4o , чтобы те создали инфостилер — программу, способную красть данные из браузера Google Chrome версии 133 , включая пароли и учётные данные.
Новый метод: взлом через «Immersive World»
Симонович применил уникальный подход, названный «Immersive World» , который основывается на повествовательной инженерии. Этот метод позволяет обойти встроенные системы безопасности LLM, погружая их в вымышленную среду, где разработка вредоносного ПО считается легальной деятельностью.
В рамках эксперимента была создана фиктивная вселенная под названием Velora , где каждый инструмент GenAI выполнял свою роль. В этой среде были задействованы три персонажа:
· Дакс , антагонист;
· Джаксон , талантливый разработчик вредоносного ПО в Velora;
· Кайя , исследователь безопасности.
Исследователь также подготовил тестовую среду с использованием менеджера паролей Google Chrome версии 133 , заполненного поддельными учётными данными. Благодаря этому подходу Симоновичу удалось успешно нормализовать опасные операции и убедить все четыре протестированных инструмента GenAI создать код для инфостилера.
Что сделала Cato Networks?
Команда Cato CTRL решила не публиковать полный код, использованный в эксперименте, однако поделилась фрагментами подсказок, которые помогли обойти защитные механизмы.
Кроме того, Cato Networks связалась с компаниями DeepSeek , Microsoft , OpenAI и Google , чтобы сообщить о своих выводах. Microsoft и OpenAI подтвердили получение информации, но дальнейших комментариев не последовало. DeepSeek , в свою очередь, вообще не ответила на запрос.
Что касается Google , то технологический гигант отказался проверять предоставленный код инфостилера, сославшись на внутренние политики.
Возможные последствия
Эксперимент показывает, что злоумышленники могут использовать современные технологии искусственного интеллекта для автоматизации создания вредоносных программ. Это поднимает важные вопросы о безопасности LLM и необходимости усиления их защитных механизмов.
"Теперь мы знаем, что GenAI может быть использован для создания сложных угроз. Это требует немедленного внимания со стороны разработчиков и регуляторов", — отметили представители Cato Networks.
Дополнительная информация - https://krakoziaber.blogspot.com/2025/03/genai.html
"Интернет под надзором: как Великобритания усиливает контроль за безопасностью"