Еще в августе Meta* представила свою мультимодальную модель перевода с использованием искусственного интеллекта SeamlessM4T, которая поддерживает почти 100 языков для текста и 36 языков для речи. Благодаря обновленной архитектуре «v2» технологический гигант расширяет возможности этого инструмента, чтобы сделать разговорный перевод более естественным и выразительным.
Первой из двух новых функций является «SeamlessExpressive», которая, как видно из названия, переносит ваши интонации в переведенную речь. К ним относятся высота звука, громкость, эмоциональный тон (волнение, грусть или шепот), скорость речи и паузы. Учитывая, что переведенные речи до сих пор всегда звучали как роботы, этот прорыв потенциально может изменить правила игры — как в нашей повседневной жизни, так и в производстве контента. Поддерживаемые языки включают английский, испанский, немецкий, французский, итальянский и китайский, хотя на момент написания этой статьи на демонстрационной странице отсутствуют итальянский и китайский языки.
Вторая функция — «SeamlessStreaming», которая начинает перевод речи, пока говорящий еще говорит, что позволяет другим быстрее услышать перевод. Задержка по-прежнему небольшая, чуть менее двух секунд, но, по крайней мере, вам не придется ждать, пока кто-нибудь закончит предложение. По словам Meta*, проблема здесь в том, что разные языки имеют разные структуры предложений, поэтому ей пришлось разработать алгоритм, предназначенный для изучения частичного аудиовхода, чтобы решить, достаточно ли контекста для начала генерации переведенного вывода или стоит продолжать прослушивание.
Последняя разработка Meta* в этом пакете «Бесшовной коммуникации» кажется впечатляющей — даже больше, чем инструменты мобильного переводчика, предлагаемые такими компаниями, как Google и Samsung. Пока неизвестно, когда широкая публика сможет использовать эти новые функции.
* Внесена в перечень общественных объединений и религиозных организаций,в отношении которых судом принято вступившее в законную силу решение о ликвидацииили запрете деятельности по основаниям, предусмотренным Федеральным законом от25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»
