FramePack: генерация видео от крутейшего lllyasviel, автора ControlNet, IC-Light, Forge, Fooocus, Omost, и других ништяков

FramePack: генерация видео от крутейшего lllyasviel, автора ControlNet, IC-Light, Forge, Fooocus, Omost, и других ништяков.

Метод предназначен для эффективного создания видео с использованием моделей диффузии. Он позволяет генерить видео с разрешением 480p при 30 FPS на ноутбуке с GPU объёмом памяти 6 ГБ, используя модель размером 13B параметров. При этом заявляется, что длительность видео может достигать 1000+ кадров.

FramePack упрощает тренировку видеомоделей, позволяя обучать их батчами по 64 на одном сервере с 8 видеокартами A100 или H100. Кроме того, он решает проблему «дрейфа» (drifting) в видео, обеспечивая стабильность качества на протяжении всего видео.​

В проекте используется технология «предсказания следующего кадра» (next-frame prediction), где каждый кадр видео кодируется с разной степенью детализации в зависимости от его важности для предсказания следующего кадра. Это позволяет эффективно использовать GPU-память. Кроме того, FramePack применяет «двустороннюю» выборку (anti-drifting sampling), что предотвращает накопление ошибок и сохраняет качество видео на протяжении всей генерации. Метод также поддерживает различные схемы сжатия, что делает его гибким инструментом для создания видео из изображений.

Качество генерации высокое, хорошо сохраняется детализация и дорисовывание новых видов. На динамичных сценах могут съедаться детали или виден гостинг, но зависит от сцены.

В UI видео генерится кусками, которые потом сшиваются в общие кадры. На одной 4090 скорость генерации 2,5 сек/кадр (неоптимизированная) или 1,5 сек/кадр (teacache). На дефолтных настройках у меня нагрузило все 24 гига. На ноутах с 3070ti или 3060 (как у lllyasviel), скорость примерно в 4-8 раза медленнее.

Поддерживаются аттеншены всех мастей (PyTorch, xformers, flash-attn, sage-attention) для доп ускорения.

Промты слишком длинные писать не стоит. Примеры на гитхабе, и есть системный промт от lllyasviel по генерации промтов для контента.

Официальная 1-кликовая сборка уже приехала. Плюс ещё есть установка через Pinokio (тоже 1 клик).

Демо

Сайт

Гитхаб

Готовая сборка

Установка (Pinokio)

————————————————————

🔥 Создай своего цифрового двойника, оживи персонажа, или интегрируй бренд. Напиши — @AndreyBezryadin