Компания Apple разработала нейронную сеть NeuMan, которая обучается на коротких видео и может генерировать «дипфейк»-видео.
Для обучения нейросети достаточно видеоролика длиной 10 с, снятого движущейся камерой. Программа извлекает из видео изображение человека и окружающей среды.
После этого NeuMan может синтезировать ролики, на которых тот же персонаж будет выполнять разные действия. Например, танцевать, кувыркаться или подпрыгивать. У нового видео меньшая резкость, но в целом они похожи на реальную съемку плохого качества.
Демонстрационное видео: танцующий человек. Видео: Apple
Основное назначение программы, как указывают разработчики, — это приложения для дополненной реальности. Они также отмечают, что для обучения нейросети используется две модели NeRF (нейрорадиального излучения): первая из них изучает человека, а вторая — фон. С помощью этих моделей нейросеть изучает грубую геометрию человека и сцены. А потом может воссоздать ее в новых формах.
Демонстрационное видео: зарядка. Видео: Apple
При этом, как отмечают исследователи, поза, которую принимает человек во время съемки, никак не влияет на качество готового видео.
Читать далее:
Рекордный корональный выброс массы на Бетельгейзе в 400 млрд раз больше солнечного