Wan не теряют времени и уже выпустили Wan 2.2 FLF2V (first-last-frame) для создания видео по 2 ключевым кадрам.
В сравнении F2F версии 2.1 здесь лучше следование и промту (благодаря обновлённой базовой модели Wan). Например, выход кота из темноты я получил с первого раза, в то время как на 2.1 приходилось делать много круток и играться с промтами.
В прочем, с последними поиграться всё-таки придётся, ибо шероховатости вроде нестабильности глаз или хвоста всё ещё видны.
Пример как описывать желаемое движение есть в воркфлоу обновлённого Comfy, у которого также появилась пара небольших оптимизаций потребления памяти.
При генерации i2v FLF — 14b — fp16 — 720p — 121f (5 секунд) — 24 fps используются все 24 ГБ VRAM на 4090 без забивания, а остальное в виде ~56 ГБ выгружается в RAM. Скорость будет 250 сек/ит — то есть, ~80 минут на итоговое видео в 5 секунд.
К вашим услугам ускоряторы вроде Tea Cache, Fast fp16, итд. Можно взять в оборот тот, что наваял Frey.
Может мы и VACE получим для 2.2 на недельке другой?
В посте один мой пример 24 fps другой 16 fps. Промт an anthropomorphic cat wearing t-shirt with a text "Psy Eyes" steps in from the dark
Гитхаб (Comfy)
