Подразделение Tongyi Lab, относящееся к Alibaba, представило Fun-CineForge — первую в мире модель для озвучивания фильмов, которая одновременно соединяет несколько модальностей и открыта для исследователей и разработчиков. На практике это означает, что модель умеет не просто озвучивать текст, а точно передавать эмоции и синхронизировать речь с движением губ. Система решает четыре главные задачи дубляжа. Это синхронизация губ, эмоциональная выразительность, последовательность голосов персонажей и точное временное выравнивание, даже когда говорящий скрыт или отсутствует на экране...