OpenAI сообщила о необычном инциденте, который произошел во время тестирования новой голосовой функции в ChatGPT. В некоторых случаях чат-бот случайно начал имитировать голоса пользователей, что вызвало удивление и опасения относительно контроля над технологией.
Как это произошло?
Новая функция под названием «Advanced Voice Mode» позволяет пользователям общаться с ChatGPT голосом. Однако во время тестирования система неожиданно начала воспроизводить голос одного из пользователей вместо заранее заданного голосового образца. Это произошло из-за сбоя, когда внешние шумы или другие факторы повлияли на процесс обработки аудио, и модель «подхватила» голос пользователя, что можно сравнить с аудио-версией феномена «промпт-инъекции».
Как работает голосовой режим?
GPT-4, являясь мультимодальной моделью, может обрабатывать как текст, так и звук. В обычных условиях системе задается голосовой образец, который она должна имитировать. Этот образец отправляется в специальном системном сообщении в начале сессии. Однако в одном из тестов вместо образца система использовала голос пользователя, что и вызвало сбой.
Риски и защита
Имитация голоса любого человека — потенциально опасная функция, поэтому OpenAI внедрила дополнительные меры контроля, чтобы предотвратить такие инциденты в будущем. Разработчики уверяют, что теперь система успешно ловит 100% подобных отклонений.
Чего ждать дальше?
Хотя OpenAI ограничила возможности своей модели, эксперты предполагают, что подобные технологии могут появиться у других разработчиков. Уже существуют сервисы, такие как ElevenLabs, которые умеют клонировать голоса, и возможно, в будущем пользователи смогут пообщаться со своей виртуальной копией, включая возможности внутри ChatGPT.
The post ChatGPT начал общаться с пользователями их же голосами. Инцидент во время тестирования новой функции appeared first on Сервисный центр Volt-PC.