Исследователи из Национального университета Сингапура представили новую модель машинного обучения MagicAnimate, которая позволяет «оживить» изображения. Согласно разработчикам, новая нейросеть работает значительно лучше, чем аналогичные системы. Ознакомиться с исходным кодом проекта можно на GitHub, а протестировать MagicAnimate — на сайте Hugging Face.
MagicAnimate использует методы диффузии и генеративного искусства для создания анимаций на основе исходных изображений. Нейросеть получает исходный материал и последовательность кадров из библиотеки DensePose, затем она генерирует кадры будущей анимации на основе эталонного изображения. После этого полученные статические кадры «склеиваются» в готовый ролик.
Для тестирования своей модели исследователи использовали различные типы изображений, включая группы людей, животных и фантастические существа. Они заметили, что MagicAnimate хорошо работает даже в случаях, когда нужно «оживить» несуществующих персонажей, которые были созданы нейросетью DALL-E 3.
Разработчики отметили, что пользователь может указать дополнительные параметры для более точного описания желаемой анимации. Их модель уже была протестирована на сайте Hugging Face, где любой человек может загрузить исходный код и проверить работу MagicAnimate на своих собственных данных.
