Новая модель способна воссоздавать реалистичные и плавные движения объектов
Яндекс представил бета-версию своей новой нейросети YandexART (Vi), которая теперь умеет создавать короткие видео с движущимися объектами, длительностью до пяти секунд. В отличие от предыдущих версий, которые создавали анимации с фиксацией камеры, новая модель способна воссоздавать реалистичные и плавные движения объектов, такие как бег собаки, падение листа или фейерверк.
YandexART (Vi) позволяет пользователям создавать уникальные анимированные заставки и видеоконтент. Она также будет полезна блогерам, мультипликаторам и креаторам контента. Модель уже доступна в приложении Шедеврум.
Ранее представленные версии YandexART генерировали анимации, в которых перемещался только фон или камера, а объекты сильно изменялись между кадрами. Новая версия преодолевает эти ограничения, создавая более цельные и реалистичные видео за счёт обучения на примерах реальных движений, таких как проезжающий автомобиль или движущийся кот.
Процесс создания видео начинается с текстового описания от пользователя, например, «Носорог танцует хип-хоп в сумрачном лесу». На основе этого описания и начального изображения нейросеть постепенно формирует последовательность кадров, превращая цифровой шум в плавное видео.
Читайте ещё по теме:
Нейросети «Яндекса» стали в семь раз быстрее находить мошенников
Яндекс создал нейросеть для выявления редкой патологии на ранних сроках развития при беременности