Израильские исследователи из Offensive AI Lab — «Лаборатории наступательного ИИ» — обнаружили способ расшифровывать и читать перехваченные ответы ChatGPT и Microsoft Copilot.
Вообще говоря, все разговоры ИИ чат-ботов с пользователем, конечно же, шифруются. Однако исследователи обнаружили ряд особенностей, которые серьёзно снижают эффективность шифрования:
- Любой текст языковые модели представляют как набор неких смысловых единиц — они называются токенами. На сайте OpenAI есть специальный инструмент «Токенизатор», который позволяет понять, как это работает.
- Чат-боты присылают текст не большими кусками сразу, а маленьким фрагментами в режиме реального времени — буквально токен за токеном.
- Такой подход вместе с особенностями использованной схемы шифрования позволяет установить длину токенов, которые чат-бот отправил пользователю.
Таким образом из перехваченных сообщений можно извлечь что-то вроде загаданной фразы в «Поле чудес»: что написано — неизвестно, но зато известна длина.
Для разгадывания того, какие же токены могут подходить, исследователи используют две языковых модели в тандеме. Первая натренирована на то, чтобы распознавать начальные сообщения в чате, обычно наиболее шаблонные. Вторая модель работает с основной частью разговора.
В удачном случае результат получается примерно таким:
- Зашифрованное сообщение: The COVID-19 pandemic has had a significant impact on the Caribbean’s tourism industry
- Реконструкция от ИИ: The COVID-19 pandemic has had a significant impact on San Francisco’s tourism industry
Уже пора бояться? Кажется, пока рано: даже просто угадать тему беседы у исследователей получилось только в 55% случаев, а успешно реконструировать текст — лишь в 29%.
Кроме того, в OpenAI уже пофиксили проблему с помощью методики, которая называется «дополнение» — это подмешивание к зашифрованной информации ничего не значащих данных для того, чтобы снизить предсказуемость сообщений.
