Приблизительно 2,8 тысяч языков мира из семи тысяч известных существуют без письменности. Такие языки не подходят для современных систем перевода на основе алгоритмов машинного обучения, поскольку обычно компьютеры переводят устную речь в письменную для последующего перевода на другой язык. Компании Meta*, похоже, удалось решить эту проблему, благодаря новому ИИ-инструменту.
В рамках разработанной Meta* программы Universal Speech Translator (UST) устная речь на одном языке будет переводиться в устную же на другом, благодаря чему будущие жители метавселенной, смогут намного легче взаимодействовать друг с другом.
В рамках проекта исследователи обратились к диалекту хоккиен — одному из официальных языков Тайваня и довольно широко распространённому в Азии, при этом не имеющему собственной письменности.
Для тренировки системам машинного перевода обычно необходимы письменные и устные образцы языка. Для того чтобы обойти подобные ограничения, используется модель т.н. speech-to-unit translation (S2UT), в рамках которой устная речь преобразуется в «акустические единицы» в режиме реального времени.
Речь на не имеющем письменности языке конвертируется сначала в текст на родственном языке-посреднике, имеющем письменность (в данном случае на мандаринском диалекте), который уже можно переводить на английский и наоборот с последующим машинным обучением системы. Пока система обеспечивает ограниченное общение носителей хоккиена и говорящих по-английски. Она переводит по предложению за раз, но глава Meta* Марк Цукерберг (Mark Zuckerberg) уверен, что со временем модель будет использована с разными языками и позволит общаться в режиме реального времени.
Помимо моделей и тренировочных данных, уже выложенных Meta* в открытый доступ, компания опубликовала и другие инструменты, потенциально позволяющие исследователям создавать собственные системы для перевода устной речи в устную (S2ST).
* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».
Больше интересных новостей на сайте 3DNews:
• В США продолжают покупать 3,5-дюймовые дискеты — от 500 штук в день
• Энтузиаст показал, как снизить температуру Ryzen 7000 на 10 градусов, не прибегая к скальпированию
• Новая прозрачная древесина заменит пластик и стекло: в домах станет теплее, на улицах — чище