FramePack Studio. Гайд по установке и настройкам.

Здравствуйте, друзья!

Сегодня расскажу про FramePack и его форк FramePack-Studio — веб-интерфейс, созданный разработчиком Colin Urban (colinurbs) на основе проекта FramePack от Lvmin Zhang (lllyasviel). Автор доработал оригинальный FramePack, сделав его удобнее и функциональнее. В этом руководстве объясню, что это за инструмент, как его установить и как пользоваться интерфейсом.

Что такое FramePack-Studio?

FramePack-Studio — это веб-интерфейс, который улучшает оригинальный FramePack, позволяя создавать видео с помощью искусственного интеллекта (ИИ). Он умеет делать видео из картинок или текстовых описаний, но стал удобнее и обзавёлся новыми функциями, которых не хватает обычному FramePack. Например, можно загрузить фото человека и указать, чтобы он сначала махал рукой, потом начал танцевать и затем ушёл в закат. FramePack-Studio добавляет возможность задавать разные действия в разное время.

Программа использует технологию «frame packing» — сжатие данных, чтобы создавать длинные видео (до 60 секунд при 30 кадрах в секунду). Главное отличие от FramePack — поддержка таймстампов (временных меток), которые задают, когда начинается новое действие в видео.

Возможности FramePack-Studio

• Таймстампы: Указание действий для разных моментов видео, например, [0s: Человек танцует] [5s: Человек уходит].
• Плавные переходы или смешивание сцен: Настройка времени смены сцен для естественного эффекта.
• LoRA (Low-Rank Adaptation): Файлы для изменения стиля видео, например, чтобы оно выглядело как аниме или картина.
• Image-to-Video (I2V): Создание видео из картинки.
• Text-to-Video (T2V): Видео из текста, с выбором фона (чёрный, белый, зелёный экран или шум).
• Очередь задач: Создание нескольких видео подряд без остановки интерфейса.
• Сохранение настроек: Описания, настройки и случайные числа (seed) сохраняются в JSON и PNG для повторения результата.

FramePack-Studio работает с моделями FramePack и FramePack-F1, доступен бесплатно для установки на компьютер и размещён на GitHub. В интерфейсе используется модель Hunyuan Video. Полная установка с моделями занимает около 45–50 ГБ на диске.

Как работает?

FramePack-Studio использует ИИ для создания видео:

1. Загрузите изображение для преобразования в видео (I2V) или оставьте поле пустым для генерации видео по тексту (T2V).
2. Напишите описание с таймкодами, например: [0s: Человек машет рукой] [3s: Человек танцует] [5s: Человек уходит].

ИИ проанализирует данные и создаст кадры с движениями.

Настройки, такие как точность описания или длина видео, влияют на результат.

Технология «frame packing» сжимает данные, чтобы видеокарта не перегружалась, даже при создании роликов до 60 секунд. Модель FramePack-F1 делает движения заметно живее.

Что нужно для работы?

FramePack-Studio требует видеокарту NVIDIA и достаточно места на диске. Требования:

• Видеокарта: Минимум 6 ГБ видеопамяти для коротких видео с низким разрешением. Видеокарты с 8 ГБ подойдут для роликов на 5–10 секунд, 12 ГБ и выше для более длинных и чётких. Внимание: высокие настройки могут нагрузить даже мощную видеокарту, так что не накручивайте разрешение и шаги бездумно.
• Оперативная память: Минимум 16 ГБ, лучше 32–64 ГБ для стабильной работы.
• Дисковое пространство: 45–50 ГБ для моделей и файлов.
• Операционная система: Windows или Linux (Mac не поддерживается из-за CUDA).
• Python: Версия 3.8–3.11, рекомендуется 3.10.
• Драйверы видеокарты: Поддержка CUDA 11.8 или новее (проверьте на сайте NVIDIA).

Как установить FramePack-Studio?

Самый простой способ это установка посредством пользовательского скрипта из Pinokio (про него я рассказывал в предыдущей статье) . Запускаете интерфейс, переходите Discover - Community scripts и ищете там FP-Studio. Нажимаете Download, подтверждаете сохранение и жмёте Install.

Скачивание и установка займут некоторое время. Это связано с тем, что нужно загрузить не только сам проект, но и тяжелые файлы моделей. Наберитесь терпения.

После скачивания и установки FramePack-Studio запустится в интерфейсе Pinokio и будет готов к работе.

Проект находится в разработке, поэтому баги и сбои неизбежны. Интерфейс часто зависает и выдаёт ошибку нехватки памяти даже при простых настройках. Если вы не уверены в своих силах и не знаете, как исправить ошибки при самостоятельной установке проекта с GitHub, я не рекомендую обновлять уже установленный FramePack до Studio или устанавливать его самостоятельно.

Для тех, кто знает что делает и хочет поставить всё вручную, вот пошаговое руководство.

Предполагается, что Python (3.8–3.11) и Git уже установлены.

Установка FramePack-Studio

1. Скачиваем код:
   Открываем терминал:Windows: жмём Win+R, пишем cmd или powershell, нажимаем Enter.
   Linux: запускаем Терминал.
   
   Выполняем команду:

git clone https://github.com/colinurbs/FramePack-Studio.git

Переходим в папку проекта командой:

cd FramePack-Studio

1. Устанавливаем зависимости:
   Вводим в командной строке:

pip install -r requirements.txt либо запускаем файл install.bat и далее update.bat

Проверяем установленную версию CUDA:

nvidia-smi

В выводе будет версия CUDA (например, 11.8). Если нужна другая, ставим подходящую под вашу версию Python библиотеку PyTorch с pytorch.org.

Скачиваем модели:

Модели (~30 ГБ) загрузятся в framepack-studio/webui/hf_download.

Запускаем интерфейс: python studio.py или файл run.bat в процессе запуска начнется автоматическое скачивание моделей.

Или скачиваем вручную:

pip install huggingface_hub

huggingface-cli download lllyasviel/FramePackI2V_HY --local-dir framepack-studio/webui/hf_download/FramePackI2V_HY

huggingface-cli download lllyasviel/FramePack_F1_I2V_HY_20250503 --local-dir framepack-studio/webui/hf_download/FramePackF1_HY

2. Ускорение с sage-attn (опционально): Ускоряет генерацию на 20–30%, но на некоторых конфигурациях может не установиться из-за несовместимости версий.

Пробуем:

pip install sageattention==1.0.6

Если не получилось:

Проверяем Python (3.8–3.11) и CUDA (11.8+).
Обновляем драйверы NVIDIA, ставим Visual Studio Build Tools (Windows) или GCC (Linux).
Не вышло? Пропускаем, программа работает и без этого.

Если использование оптимизаций для вас вопрос принципиальный, вы можете написать мне в телеграмм, постараюсь помочь 💰.

Запуск

1. Вводим: в командной строке

python studio.py --inbrowser или запускаем файл run.bat

В браузере откроется интерфейс по адресу http://localhost:7860. Если порт занят:

python studio.py --port 7861 --inbrowser

Дополнительные параметры:

--share: Создаёт публичную ссылку через Gradio.
--inbrowser: Открывает браузер автоматически.

Проверяем

1. Загружаем картинку, пишем описание с таймстампами, например, [0s: Девушка стоит] [3s: Девушка машет], и жмём «Generate».
2. Видео появится в папке outputs. Если не работает, смотрим ошибки в терминале.

Использование LoRA

LoRA — файлы, которые меняют стиль видео, например, добавляют эффект аниме. Как настроить:

1. Создаём папку loras рядом с studio.py.
2. Кладём туда Hunyuan-совместимые LoRA-файлы (искать на Hugging Face).
3. Запускаем python studio.py или run.bat, LoRA подгрузятся автоматически.
4. В интерфейсе выбираем LoRA и задаём вес (0.5–1.0).

Проблемы с LoRA:

• Не загружаются: Статус «Not Loaded». Проверяем, что файлы в папке loras и в правильном формате. Перезапускаем интерфейс.
• Зависания при переключении: Используем одну LoRA за раз (Issue #35).
• Медленная загрузка: LoRA замедляет работу на слабых видеокартах.
• Неправильный стиль: Пробуем вес 0.5 или другой LoRA, совместимый с Hunyuan.

Как пользоваться веб-интерфейсом?

FramePack-Studio работает через веб-страницу Gradio. Слева — настройки и поля ввода, справа — результат (видео в MP4) и прогресс. Вот как выглядят настройки:

• Input Image: Загружаем картинку (PNG или JPG) для режима Image-to-Video. Если ничего не загружать, включается Text-to-Video. Находится вверху, просто жми «Upload» или перетаскивай файл. Лучше брать файлы до 2 МБ, чтобы всё работало без тормозов.
• Prompt: Это поле, где вводим описание видео с таймстампами, например, [0s: Девушка стоит] [3s: Девушка танцует]. Оно прямо под загрузкой картинки. Формат простой: [Xs: Действие], где X — секунды от 0 до 60. Можно задавать сколько угодно сцен.
• Model Selection: Выбираем модель в выпадающем списке на панели настроек. FramePack — базовая, FramePack-F1 — для более живых движений, но иногда с небольшим дрифтом.
• Prompt CFG Scale: Регулирует, насколько ИИ прислушивается к описанию. Значение от 3 до 15, по умолчанию 7.5. Меньше — больше свободы, больше — точнее, но движения могут быть резкими. Находится на панели настроек.
• Steps: Задаёт, сколько шагов ИИ делает для каждого кадра. От 20 до 50, обычно 25. Меньше — быстрее, больше — качественнее, но дольше. Тоже на панели настроек.
• Seed: Число для случайности. -1 — каждый раз новый результат, число (например, 42) — можно повторить видео. По умолчанию -1, задаётся на панели настроек.
• Prompt Blending Time: Устанавливает, как плавно сцены перетекают друг в друга, в секундах (0.5–2.0, обычно 1.0). Чем больше, тем мягче переходы. На панели настроек.
• Video Length: Длина видео в секундах, от 1 до 60 (или до 120 на мощных видеокартах). По умолчанию 10 секунд. Устанавливается на панели настроек.
• Resolution: Размер видео — 256x256, 512x512 или 720x720, по умолчанию 512x512. Большие разрешения нагружают видеокарту. Выбирается на панели настроек.
• LoRA Selection: Позволяет выбрать LoRA-файл для стилизации (аниме, реализм и т.д.) из папки loras. Если ничего не нужно, ставим «None». Это в отдельной панели LoRA, ниже основных настроек.
• LoRA Weight: Регулирует, насколько сильно LoRA меняет стиль. От 0.0 до 1.0, обычно 0.5. Меньше — стиль слабее, больше — ярче. Задаётся рядом с выбором LoRA.
• Latent Image Options: Выбираем фон для Text-to-Video, если нет картинки. Варианты: Black, White, Green Screen, Noise (по умолчанию Noise). Находится под полем Input Image.
• GPU Inference Preserved Memory: Сколько видеопамяти (в ГБ) оставить в резерве, чтобы не было ошибок. От 6 до 128 ГБ, обычно 6. Настраивается на панели настроек.
• Queue System: Кнопка, чтобы добавить видео в очередь и генерировать несколько роликов подряд. Находится под настройками, рядом с «Generate».
• Teacache: Опция для ускорения генерации. Включенная функция — генерация работает быстрее, но могут появиться мелкие артефакты, например, на пальцах. По умолчанию выключена, включается на панели настроек.

Пример создания видео

1. Загружаем картинку (PNG/JPG).
2. Пишем описание: [0s: The animation person stands] [3s: The animation person show biceps] [6s: The animation person smiling]
   
3. Настройки:Model: FramePack-F1
   Prompt CFG Scale: 7.5
   Steps: 25
   Seed: -1
   Prompt Blending Time: 1.0
   Video Length: 6 секунд
   Resolution: 512x512
   GPU Inference Preserved Memory: 6 ГБ
   
4. Жмём «Add to Queue». Сгенерированное видео сохранится в outputs. в корне проекта.

Полезные советы

• Тестируйте с короткими видео (3-5 секунд) и разрешением 256, чтобы сэкономить время.
• Упрощайте описание: «The girl dances» вместо «The girl dances in a park».
• Меняйте Seed (3–5 попыток), чтобы найти лучший результат.
• Для LoRA начинайте с веса 0.5 и проверяйте статус «Loaded».

Возможные проблемы и решения

• Ошибка «CUDA out of memory»: Уменьшите Resolution (256), Video Length (3-5 секунд) или увеличьте GPU Inference Preserved Memory (8–10 ГБ).
  
• LoRA не загружается или не переключается:Проверьте папку loras, перезапустите интерфейс, используйте одну LoRA (Issue #35).
  
• Медленная генерация:Уменьшите Steps (20), Resolution (256) или установите оптимизации (напр. sage-attn).
  
• Описание игнорируется:Увеличьте Prompt CFG Scale (10) или упростите текст.
  
• Видео обрывается:Проверьте, скачались ли модели (папка hf_download).
  

Для помощи загляните в Issues на GitHub или Discord.

Субъективное мнение

FramePack-Studio — это интересный проект, который позволяет создавать видео с разными сценами через удобный веб-интерфейс. Однако пока автор или энтузиасты не доработают его до более стабильного состояния, я бы не рекомендовал использовать его как рабочий инструмент. Если вы хотите просто попробовать, установите программу и посмотрите сами. Если же вам нужен надежный инструмент для работы, лучше подождать более стабильной версии. Тем более, что автор обещает крупное обновление в ближайшее время.

Ну и конечно же, если вам понравилась эта статья, буду рад вашим подпискам, комментариям и лайкам. Недавно я запустил Discord-канал и постараюсь поддерживать его насколько возможно, там вы сможете не только следить за новостями, но и общаться, делиться опытом и приобретать новые знания о нейросетях. Чтобы всегда быть в курсе моих новых материалов, подписывайтесь на мой Boosty, Telegram-канал и страницу "ВКонтакте". Пока что нас немного, но я надеюсь, что с течением времени сообщество станет больше. Это станет отличной мотивацией для меня активно работать и над другими социальными сетями.