По мере того как инструменты получают все больше свободы, увеличивается и количество потенциальных способов атаки на них.
Интернет-исследователи из Корнельского технологического института создали экспериментального ИИ-червя Morris II, который способен перемещаться по разным компьютерным системам, похищая данные или внедряя вредоносное программное обеспечение. По мнению разработчиков, технология дает возможность организовывать новый вид кибератак.
Генеративные системы ИИ, становятся все более совершенными. Их активно используют в работе. Стартапы и технологические компании создают агентов ИИ и экосистемы, которые могут выполнять скучную работу: например, автоматически бронировать места в календаре и покупать товары. Но по мере того как инструменты получают все больше свободы, увеличивается и количество потенциальных способов атаки на них.
Чтобы проверить риски ИИ, группа исследователей создала одного из первых генеративных ИИ-червей, которые могут распространяться от одной системы к другой, похищая данные и заражая устройства вредоносным ПО.
– Это означает, что теперь у вас есть возможность провести или осуществить новый вид кибератаки, которого раньше не было. Новый ИИ-червь ИИ может атаковать генеративный почтовый помощник ИИ для кражи данных и рассылки спама, нарушая при этом некоторые средства защиты в ChatGPT и Gemini, – говорит научный сотрудник Корнельского технологического института Бен Насси.
Большинство систем генеративного ИИ работают, получая подсказки – текстовые инструкции, которые предписывают инструментам ответить на вопрос или создать изображение. Однако эти подсказки могут быть использованы против системы. Взлом может заставить ИИ-модель пренебречь правилами безопасности и выплеснуть токсичный или ненавистный контент, а атаки с внедрением подсказок могут дать чат-боту секретные инструкции. Например, злоумышленник может спрятать на веб-странице текст, который прикажет LLM выступить в роли мошенника и запросить ваши банковские реквизиты.
Чтобы продемонстрировать работу червя, исследователи создали почтовую систему, которая может отправлять и получать сообщения с помощью генеративного ИИ, подключив к ней ChatGPT, Gemini и LLM с открытым исходным кодом LLaVA. Затем они нашли два способа использования системы – с помощью текстовой самовоспроизводящейся подсказки и путем ее встраивания в файл изображения. Модифицированный ИИ-червь сумел обойти защиту и начать заражение опытных систем.
ИИ-черви еще не были замечены в качестве инструмента взлома, однако многие исследователи утверждают, что они представляют собой угрозу безопасности, о которой должны беспокоиться стартапы, разработчики и технологические компании. Хотя исследование нарушает некоторые меры безопасности ChatGPT и Gemini, авторы говорят, что эта работа является предупреждением о плохом архитектурном дизайне в более широкой экосистеме ИИ. Исследователи направили отчет о своем эксперименте в Google и OpenAI.
Источник - https://er10.kz/read/texnologii/jeksperimentalnyj-ii-cherv-sozdaet-novyj-tip-kiberugroz/