Распространение приложений искусственного интеллекта и чат-ботов продолжается, очередным свидетельством чему стал недавний анонс Claude 3. Системы генеративного искусственного интеллекта и большие языковые модели обрабатывают огромные объёмы данных, на что нужна большая вычислительная мощь и энергия. К тому же происходит эта обработка обычно в облаке, что не лучшим образом сказывается на конфиденциальности и открывает новые методы кражи персональных данных.
Исследователи из компании Infosec опубликовали статью с описанием возможности создания программных червей, способных без взаимодействия с пользователями отравлять экосистемы больших языковых моделей на движках вроде Gemini (Bard) или GPT-4 (Bing/Copilot/ChatGPT). Черви представляют собой наборы компьютерных команд, способных незаметно заражать компьютерные системы без помощи со стороны пользователей.
Исследователи задались вопросом, могут ли злоумышленники разработать вредоносные программы для использования компонентов агента GenAI и проведении GenAI. Ответ на этот вопрос оказался утвердительным.
Был создан червь под названием Morris II. Применяя противоречивые самовоспроизводящиеся подсказки на понятном языке, чат-ботов заставляют распространять червя среди пользователей даже разных больших языковых моделей. Во входные данные вставляются подсказки, которые обрабатываются моделями GenAI и превращаются в выходные данные. Входные данные вынуждают агента распространять их среди других посредством подключений внутренней экосистемы GenAI.
Для тестирования этой теории был создан изолированный почтовый сервис с целью атаки на виртуальных помощников на основе Gemini Pro, ChatGPT 4 и LLM LLaVA с открытым исходным кодом. В электронных письмах содержались текстовые самовоспроизводящиеся подсказки со встроенными изображениями.
Эти подсказки дают возможность получать информацию из-за пределов локальной базы данных. В частности, если пользователь выполняет запрос к Bard с целью прочитать инфицированное электронное письмо или ответить на него, содержимое отправляется в Gemini Pro для создания ответа. После этого Morris II реплицируется уже на Gemini и приносит с собой полезную нагрузку, делая возможной в том числе кражу данных.
Содержащий конфиденциальные пользовательские данные сгенерированный ответ инфицирует новые хосты, если отправляется новому клиенту с сохранением в его базе данных. Ещё сложнее заподозрить неладное при использовании изображений. Из электронных писем могут извлекаться имена, номера телефонов и кредитных карт, социального страхования и прочая конфиденциальная информация.
В итоге можно сказать, что, как это бывает с любым видом технологий, их можно использовать во благо или во вред.