Нейросеть от стартапа ElevenLabs позволяет озвучивать тексты голосами знаменитостей. Этим воспользовались в сети для создания фейков.
Пользователи популярного американского портала 4chan переходят на бесплатную платформу синтеза голоса ElevenLabs - они стали активно использовать технологию компании для клонирования голосов знаменитостей и создания аудио - голосами известных людей в сети создают всё - от мемов и эротики до расистких высказываний и дезинформации.
Фейковые голоса
За последние несколько лет индустрия создания фейков при помощи ИИ шагнула далеко вперед, но программное обеспечение ElevenLabs, к которому теперь имеет доступ любой желающий, предлагает мощное сочетание скорости, качества и доступности, а также полное отсутствие ограничений. О злоупотреблении программным обеспечением ElevenLabs впервые сообщила компания Motherboard, которая обнаружила на 4chan постеры с голосовыми клипами, созданными нейросетью. Среди фейковых аудио можно встретить голоса Эммы Уотсон и Джо Рогана.
"В одном примере сгенерированный голос, похожий на голос актрисы Эммы Уотсон, читает раздел "Майн Кампф". В другом случае голос, очень похожий на голос Бена Шарпио, делает расистские замечания в адрес Александрии Окасио-Кортес. В третьей записи кого-то, кто говорит, что "права транс-людей - это права человека", душат", - сообщает Motherboard.
Кто-то заставил даже президента США Джо Байдена признаться в аудио, что теория заговора “пиццагейт” реальна. Напомним, что это теория заговора, согласно которой влиятельные сторонники Хиллари Клинтон связаны с тайной организацией педофилов.
В отличие от аналогичных сервисов, доступных для пользователей, в ElevenLabs вы не ограничены имеющейся библиотекой голосов и можете сами обучить модель на отрывках речи любого человека. После обучения нейросеть может довольно точно воспроизводить нужные фразы тем голосом, который вы загрузили.
После скандала ElevenLabs сообщила, что может “отследить любой сгенерированный звук до конкретного пользователя”, и рассмотрит такие меры предосторожности, как проверка личности пользователей и ручная проверка каждого запроса на клонирование голоса.