Группа ученых из Китая и Сингапура продемонстрировала новый тип атаки на голосовые ИИ-системы. В обычный аудиоконтент (подкасты, музыку или фоновые видео) можно встроить неслышимые для человека звуковые сигналы, которые голосовой ассистент воспринимает как команды. Подтвержденные уязвимости исследователи нашли в продуктах Microsoft и Mistral AI.
Метод основан на так называемом adversarial audio, то есть акустическом сигнале, который ИИ-модель распознает как команду, хотя человек его не слышит. Такой сигнал можно встроить в звуковой файл, который воспроизводится в фоновом режиме. Непосредственно взаимодействовать с жертвой при этом не нужно.
По словам ведущего автора исследования Мэн Чэня, на подготовку такого сигнала уходит около получаса. После этого атака становится независимой от контекста и может сработать независимо от того, что говорит пользователь в момент воспроизведения.
Главное техническое ограничение метода — для подготовки атаки нужен доступ к полным весам атакуемой модели. Поэтому на текущем этапе уязвимы прежде всего системы, построенные на базе открытых моделей. Но именно на open-source-моделях работает значительная часть коммерческих голосовых ИИ-продуктов, и это расширяет реальный охват угрозы. По данным исследователей, атака успешно сработала против голосовых решений на базе моделей Microsoft и Mistral.
Читайте также
Anthropic нашла более 10 тыс. опасных уязвимостей с помощью Claude Mythos
Mistral на запрос IEEE о комментарии не ответила. Microsoft заявила, что исследование «помогает формировать подход компании к повышению устойчивости моделей», а разработчикам предоставляются инструменты для «дополнительных уровней защиты». При этом компания не назвала конкретных мер по устранению уязвимости, а ее ответ фактически переносит акцент на защиту на уровне прикладных решений.
Новый вектор атаки особенно опасен из-за пассивного сценария. Пользователю не нужно ничего скачивать или переходить по ссылкам — достаточно воспроизвести обычный медиаконтент рядом с устройством, подключенным к ИИ-ассистенту. Потенциальный ущерб зависит от того, к каким данным и сервисам имеет доступ ассистент: фотогалерее, банковским приложениям, личной переписке или умному дому.
Исследователи считают, что существующие защитные механизмы голосовых ИИ пока не справляются с такой угрозой. Главная сложность — на уровне модели трудно отделить легитимную команду пользователя от встроенного атакующего сигнала. Поэтому устранение уязвимости может потребовать не отдельных патчей, а пересмотра архитектурных подходов к аудиовводу в голосовых системах.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.