Новая невероятная модель создания видео по тексту !
Метод на основе диффузии, который может выполнять текстовое редактирование движения и внешнего вида обычных видео.
На входе рефернс в виде видео или картинки или набора из картинок и текстовое описание, что вы хотите сотворить , любые текстовые описания.
ИИ извлекает из референсов “смыслы” и потом анимирует их в соответствии с тем, что вы насочиняли в текстовом промпте.
Всего из нескольких картинок или ролику новая модель от Google – Dreamix генерирует видео по текстовому описанию!
На видео Dreamix превращает обезьяну в танцующего медведя по промпту «Медведь танцует и прыгает под веселую музыку, двигая всем телом».
⭐️ проект: https://dreamix-video-editing.github.io/
✅️ статья: https://arxiv.org/pdf/2302.01329.pdf
⭐️ видео: https://www.youtube.com/watch?v=xcvnHhfDSGM
издающих звук на видео.