Компания Google создала пока что экспериментальную нейросеть Translatotron, которая сразу переводить слова на другой язык и сохраняет данные о голосе и темпе говорящего
Translatotron — это первая сквозная модель, которая может напрямую переводить речь с одного языка на речь на другом языке, сохраняя исходные особенности речи источника», — сообщает компания в своем официальном блоге.
С долгой краткосрочной памятью переводчик способен принимать голосовое сообщение и обрабатывать его как спектрограмму, а затем генерировать на этой основе новую спектограмму на целевом языке.Это позволяет увеличить как скорость перевода, так и его точность
В Google отмечают:
Большинство современных систем машинного перевода речи построены на принципе каскадного метода, когда задача разделяется на несколько более простых задач. В рамках первой происходит автоматическое распознавание речи. Затем осуществляется машинный перевод с одного языка на другой, а после этого готовый переведенный текст превращается обратно в речь, которая практически всегда отличается голосом от исходного носителя.
Разработчики Translatotron признаются, что по части точности перевода система еще не опередила традиционные каскадные системы, но, как и любая модель машинного обучения, со временем она может улучшиться. Учитывая преимущество сохранения оригинального голоса говорящего даже в переведенной речи, дальнейшие исследования в этой области могут оказаться полезными для будущих систем перевода Google на базе AI.