В современном мире, где вовсю идёт разработка различных инструментов на основе искусственного интеллекта, включая приложения безопасности, такой же процесс идёт и по другим, менее приятным направлениям.
Группа исследователей разработала первое поколение ИИ-червя, способного красть данные, распространять вредоносное программное обеспечение и отправлять спам другим пользователям через почтовый клиент для заражения нескольких систем. Этот червь был успешно разработан и испытан в тестах с использованием популярных моделей машинного обучения. Исследователи выразили обеспокоенность потенциальными опасностями, которые подобное вредоносное программирование может представлять, и дали рекомендации разработчикам компании GenAI. Команда поделилась своими исследовательскими документами и опубликовала видео, демонстрирующее два метода кражи данных и воздействия на другие почтовые клиенты.
Бен Насси из Cornell Tech, Став Коэн из израильского технологического института и Рон Биттон из Intuit разработали этого червя и назвали его "Morris II" в честь оригинального червя Morris, который вызвал панику в интернете в 1988 году. "Morris II" направлен на приложения нового поколения с искусственным интеллектом, а также на почтовых помощников с поддержкой ИИ, способных генерировать текст и изображения с использованием моделей, таких как Gemini Pro, ChatGPT 4.0 и Llava.
Это осуществляется с помощью состязательных самовоспроизводящихся подсказок, которые противодействуют этим моделям, аналогично тому, как джейлбрейк распространяет токсичный контент с помощью ИИ. Исследователи продемонстрировали это, создав систему электронной почты с этими генеративными ИИ-движками и используя самовоспроизводящуюся подсказку, включающую текст или встроенное изображение.
Текстовая подсказка заражает почтового помощника, использующего LLM, чтобы использовать внешние данные, которые затем передаются в GPT-4 или Gemini Pro для создания текстового контента. Этот контент осуществляет джейлбрейк сервиса GenAI и успешно ворует данные. Метод с использованием изображения кодирует самовоспроизводящуюся подсказку в изображение, заставляя почтовых помощников пересылать сообщения с пропагандой и оскорблениями всем желающим, заражая новых почтовых клиентов и дальше рассылая зараженное электронное письмо. В обоих случаях исследователи могут получать конфиденциальную информацию, включая данные кредитных карт и номера социального страхования.
Такой функционирующий червь, даже в контролируемой среде, доказывает, что он больше не является теоретической угрозой и к нему следует относиться серьезно.