Учёные из Google AI создали алгоритм Translatotron, способный переводить устную речь с одного языка на другой. При этом он работает совсем не так, как классические алгоритмы, а действует напрямую.
Дело в том, что обычно устная фраза сначала переводится в текст для обработки и перевода. Что касается Translatotron, то он работает со спектрограммами и функционирует с помощью 3-х модулей:
— 1-й принимает исходную спектрограмму, формируя её версию на другом языке;
— 2-й синтезирует речь;
— 3-й имитирует оригинальный голос, если это необходимо.
Translatotron обучали на полноценных языковых корпусах. Как утверждают в Google AI, на сегодняшний день этому алгоритму нет аналогов.
Загляните за горизонт событий вместе с OTUS! Записывайтесь на наши курсы:
ПОСМОТРЕТЬ ПРОГРАММЫ
