Уязвимость в Microsoft Copilot позволяла хакерам из Varonis похищать личные данные из истории чатов даже после закрытия окна. Эксплойт Reprompt использовал косвенное внедрение команд через URL-параметры, обходя существующие средства защиты.
Компания Microsoft устранила уязвимость в своем помощнике на базе ИИ Copilot, которая позволяла злоумышленникам одним кликом по ссылке похитить целый ряд конфиденциальных пользовательских данных.
В данном случае хакерами выступили исследователи-«белые шляпы» из компании по кибербезопасности Varonis. Результатом их многоэтапной атаки стала эксфильтрация данных, включая имя пользователя, его местоположение и сведения о конкретных событиях из истории чатов Copilot. Атака продолжала работать, даже когда пользователь закрывал чат Copilot, не требуя дальнейших действий после того, как пользователь переходил по ссылке в электронном письме. Атака и последующая кража данных обошли средства контроля безопасности конечных точек предприятия и обнаружение приложениями защиты конечных точек.
«Как только мы доставляем эту ссылку с вредоносным запросом, пользователю достаточно нажать на ссылку, и вредоносная задача немедленно выполняется», — рассказал Арс исследователь безопасности Varonis Долев Талер. «Даже если пользователь просто нажмет на ссылку и немедленно закроет вкладку чата Copilot, эксплойт все равно сработает».
Базовый URL-адрес указывал на домен, контролируемый Varonis. К концу добавлялась длинная серия подробных инструкций в виде параметра q, который Copilot и большинство других больших языковых моделей (LLM) используют для прямой передачи URL-адресов в запрос пользователя. При нажатии этот параметр заставлял Copilot Personal встраивать личные данные в веб-запросы.
Точная формулировка запроса, внедренного в качестве параметра q, гласила:
Этот запрос извлекал секрет пользователя («HELLOWORLD1234!») и отправлял веб-запрос на сервер, контролируемый Varonis, вместе с добавленным справа «HELLOWORLD1234!». На этом атака не закончилась. Замаскированный файл .jpg содержал дальнейшие инструкции, запрашивающие такие сведения, как имя пользователя и местоположение цели. Эта информация также передавалась в URL-адресах, которые открывал Copilot.
Как и в большинстве атак на большие языковые модели, коренная причина эксплойта Varonis кроется в неспособности провести четкую границу между вопросами или инструкциями, введенными непосредственно пользователем, и теми, что содержатся в недоверенных данных, включенных в запрос. Это порождает косвенные внедрения команд (indirect prompt injections), которые ни одна LLM пока не смогла предотвратить. Реакция Microsoft в данном случае заключалась в создании защитных механизмов (guardrails) в Copilot, призванных не допустить утечки конфиденциальных данных.
Varonis обнаружила, что эти защитные механизмы применялись только к первоначальному запросу. Поскольку внедренные команды инструктировали Copilot повторять каждый запрос, второй запрос успешно побудил LLM к эксфильтрации частных данных. Последующие косвенные команды (также в замаскированном текстовом файле), запрашивающие дополнительную информацию, хранящуюся в истории чата, также повторялись, что позволяло проводить несколько этапов, которые, как отмечалось ранее, продолжались даже после того, как цель закрывала окно чата.
«Microsoft ненадлежащим образом спроектировала» защитные механизмы, заявил Талер. «Они не провели моделирование угроз, чтобы понять, как кто-то может использовать этот [пробел] для эксфильтрации данных».
Varonis раскрыла информацию об атаке в публикации в среду. Она включает два коротких видеоролика, демонстрирующих атаку, которую исследователи компании назвали Reprompt. Фирма по безопасности конфиденциально сообщила о своих выводах Microsoft, и по состоянию на вторник компания внесла изменения, которые делают эксплойт неработоспособным. Эксплойт работал только против Copilot Personal. Microsoft 365 Copilot не пострадал.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Dan Goodin