Исследователи из Центра искусственного интеллекта Samsung в Кембридже и Имперского колледжа Лондона создали сквозную генеративную состязательную сеть (GAN), которая анимирует и синхронизирует движения лица на фото с человеческой речью.
В дополнение к синхронизации движения губ, нейросеть добавляет движения глазам и бровям, чтобы изображения, которые она создает, выглядели более естественными. Сегодня синхронизация губ со звуком, например, в мультфильмах, часто выполняется в процессе пост-редактирования или с использованием компьютерной графики. Новый алгоритм модель может быть использован для автоматического создания говорящих голов персонажей в анимационных фильмах, заполнения пробелов при вырезании из видео кадров или дублирования фильмов на иностранных языках. И само собой, технология может и будет использовать для манипуляций с подделками, как только станет доступной.