Короткометражка Wave, про которую я рассказывал слегка захайпилась в твиттере

Короткометражка Wave, про которую я рассказывал слегка захайпилась в твиттере. Воркфлоу и ноды пошли в народ, и я решил оное опробовать.

Для смещения элементов в кадре используется Wan ATI, в котором ты точками задаёшь вектора как что должно двигаться в кадре . Но если несколько месяцев назад, вменяемого удобного способа для управления не было, то сейчас имеется нода FL Path Animator, в которой по нажатии Edit Paths появляется отдельное окно, где можно задать что и как должно двигаться, а что должно оставаться статичным. Процесс напоминает траектории анимации в Kling, и все реализовано довольно удобно.

В окне Edit Paths слева у нас панель инструментов, сверху управление шириной пера и прозрачностью фона, справа список созданных траекторий. Кликаем на иконку с картинкой, загружаем требуемое изображение, и карандашом рисуем что должно двигаться в какую сторону, а иголкой тыкаем что должно быть статичным. Если нужно стереть что-то, выбираем корзинку и удаляем. Синей стрелочкой можно выбрать траекторию и она подсветится в списке траекторий. Удержание SHIFT делает прямую линию причём из 2 точек (начальной и конечной), в то время как просто движение мышкой создаст множество точек внутри траектории. Чем быстрее мы ведем мышкой, тем менее разряжёнными становятся точки. Чтобы края кадра не менялись, а только его содержимое, есть кнопка Lock Perimeter. Нарисовали — жмём Save Paths или ESC.

Дальше в ворке жмём генерить, если нужно перед этим меняя параметры, и получаем в хорошем качестве видос с точным движением объектов в кадре, как указано. Для обложек, видео арта, анимации черновых кадров очень может пригодиться.

Чтобы моё лицо лучше генерилось под новыми углами камеры, я подключил натренированную в Wan лору и это значительно улучшило результаты. Даже серёжки вытягивает!

При этом потребление лайтовое. На 4090 +128 ГБ RAM при использовании fp16 весов видюха загружена на 21 ГБ (23 ГБ в пике), остальные 47 ГБ идут в RAM. На одно видео 720p 24 fps в 8 шагов уходит 5 мин.

Единственно есть специфичная слоумошность в кадре, которую пока промтами не удалось побороть.

Комфи сделали видеогайд и выложили сбрку вместе с воркфлоу на хаггинг.

Видеогайд (YouTube)

Веса и Comfy воркфлоу

Короткометражка Wave

Твиттер автора Wave