Нода для динамического подстраивания положения кейфреймов в Wan VACE при изменении длительности видео

Нода для динамического подстраивания положения кейфреймов в Wan VACE при изменении длительности видео. Пригодится, если вы представляете где у вас какой кадр должен быть в видосе и хотите поиграться с хронометражом.

Закидываем в воркфлоу кеймреймы сверху вниз (или меняем под себя), на первом фрейме задаём разрешение видео, в ноде Wan VACE Keyframe Builder ползунком задаём где какой кадр должен быть, и нажимаем сгенерить. Появятся маска и превью расположения кадров в видосе, после чего пойдёт сама генерация.

Ворк прожоливый. На 4090 + 128 ГБ RAM, чтобы сгенерить 1024x1024x 16 fps видео хроном 49 кадров и весами Wan 2.1 fp16 нужно использовать block swap, иначе вылетит с ошибкой. С ускоряющей 4-шаговой лайтнинг лорой 49 фреймов генерит за 2:26 мин (36,7 сек/ит), а без неё в 20 шагов 13:21 (40,08 сек/ит). Чтобы вместить в меньше VRAM и RAM используйте fp8 веса базовых моделей, текстового энкодера, блоксвапом, и поиграйтесь с разрешением и хронометражом.

С лайтнинг лорой видео может фликерить. Есть смысл ей черновой вариант нащупать, а базовой моделью с большим количеством шагов и аоднятым CFG уже генерить начисто. Динамическая расстановка кейфремов может шалить, перетыкайте вручную если что.

По итогу получаем видео без пауз на склейках. Ворк схож с другим прожорливым для бесшовных длинных видео, который я тестил ранее, но этот проще и есть контроль положения кадра и ускорялки. Хотя из того качество пока удалось вытянуть повыше.

Гитхаб

Воркфлоу