Найти тему
Нейроарт Мастерская

Как установить CogVideoX в ComfyUI.

Оглавление

Здравствуйте, дорогие друзья!

Недавно на смену популярной модели SVD (Stable Video Diffusion) пришла новая модель под названием CogVideoX, разработанная группами Knowledge Engineering Group (KEG) и Data Mining (THUDM) в Университете Цинхуа.

Эта модель была обучена на основе длинных и подробных запросов с испольхованием, используя ChatGLM4 и ChatGPT4. Разработчики утверждают, что с каждым обновлением CogVideoX становится все более "способной" к созданию высококачественных видео.

Вы можете ознакомиться с проектом, почитать о моделях и узнать, откуда их скачать, перейдя по этой ссылке. Я же постараюсь кратко изложить информацию, чтобы вы могли быстро начать создавать свои собственные видео.

Главным преимуществом модели CogVideoX по сравнению с другими моделями создания видео является возможность создавать видео на конфигурациях с небольшим объёмом видеопамяти — менее 12 ГБ — и на более старых графических процессорах. Разработчики утверждают, что теперь даже с моделью 2B справится не только популярный RTX 3060, но и более старые графические процессоры, такие как GTX 1080TI.

Но всю эту информацию вы прочтете на странице разработчиков по ссылке выше а мы давайте приступим к установке.

Если у вас до сих пор не установлен ComfyUI, выполните следующие шаги:

1. Убедитесь, что у вас установлены Python и Git. О том, как это сделать, я подробно описал в этой статье.

2. Клонируйте репозиторий ComfyUI. В созданной директории ComfyUI откройте командную строку (CMD) или терминал и выполните следующую команду для клонирования репозитория:

git clone https://github.com/comfyanonymous/ComfyUI.git


3. Перейдите в директорию, куда был клонирован репозиторий введя команду:

(пример) cd d:\AI\ComfyUI

4. Установите необходимые зависимости для работы с помощью команды:

pip install -r requirements.txt

Если эти шаги кажутся вам сложными или непонятными, вы можете скачать портативную версию интерфейса по этой ссылке. Папку из архива следует скопировать в любое удобное для вас место, избегая длинных путей и кириллических символов.

Пример как делать не стоит:

(/home/Василий/Documents/Work/проекты/Current_Project/нейросети\Final_Version\Version_1.0\Source_Code\Main_Folder\Sub_Sub_Sub_Folder3\b_Folder1\Sub_Sub_Sub_Sub_Folder2\ComfyUI)

Далее необходимо клонировать расширение CogVideoX. Перейдите в папку "ComfyUI/custom_nodes". В адресной строке этой директории введите cmd, чтобы открыть командную строку. Введите следующую команду для установки расширения:

git clone https://github.com/kijai/ComfyUI-CogVideoXWrapper.git


Для ускорения рендеринга видео вам также потребуются другие зависимости.

Для пользователей ComfyUI, которые установили его через клонирование репозитория через командную строку:

Откройте командную строку и введите следующие команды:

pip install --pre onediff onediffx
pip install nexfort

Для пользователей ComfyUI Portable версии, которые просто скачали и распаковали архив:

Перейдите в папку "ComfyUI_windows_portable". В адресной строке папки введите cmd и используйте следующие команды:

python_embeded\python.exe -m pip install --pre onediff onediffx nexfort

Все необходимые модели будут автоматически загружены из репозитория THUDM на платформе Hugging Face. Поэтому при выборе модели в узле CogVideo вам не придется загружать их вручную.

Для работы также потребуется скачать файлы по ссылке или из менеджера ComfyUI, указав в поиске t5 и выбрав модели GGUF или FP8 для низкопроизводительной конфигурации или FP16 для высокопроизводительной.

Перед запуском обязательно убедитесь, что используете последнюю версию ComfyUI. Для этого запустите файл update_comfyui.bat в директории UPDATE.

Чтобы запустить ComfyUI, найдите в корневом каталоге интерфейса bat-файл с одним из следующих названий:

run_nvidia_gpu.bat — для работы на графическом процессоре NVIDIA;

run_сpu.bat — для работы на центральном процессоре.

При первом запуске интерфейса загрузка необходимых зависимостей и моделей может занять некоторое время. Вы можете следить за прогрессом скачивания и установки, переключившись на командную строку.

После запуска ComfyUI и загрузки рабочего пространства вы можете столкнуться с красными узлами в вашем пространстве. О них и о том, как с этим бороться, я рассказывал в этой статье. Там всё достаточно просто, и, внимательно прочитав статью, вы легко решите эту проблему.

На странице проекта разработчики указали параметры работы модели. Признаюсь, сначала они меня ошеломили: требования к видеопамяти кажутся просто невероятными, которые никак не назвать общедоступными.

-2

Однако не стоит паниковать. Вы сможете создавать свои видео с комфортом (относительным, конечно), даже если у вас всего 8 гигабайт видеопамяти, используя модель 2B или квантованные модели GGUF. Но не стоит забывать, что GGUF это чистая технология сжатия, она меньше по размеру, у нее значительно меньше требования к памяти но она и ощутимо медленнее, потому что при работе требуются дополнительные шаги для распаковки тензоров.

Стандартные рабочие пространства вы сможете найти и загрузить нажав LOAD и перейдя по пути:

ComfyUI\custom_nodes\ComfyUI-CogVideoXWrapper\examples\

Для работы с GGUF моделями необходимо установить соответствующее расширение. Скачать его можно по ссылке и скопировать содержимое в ComfyUI\custom_nodes либо через менеджер Install via Git URL и вставить туда адрес ссылки "https://github.com/city96/ComfyUI-GGUF.git". После установки полностью перезагрузите интерфейс.

Если вдруг при попытке установить из менеджера какое либо расширение вы сталкиваетесь с отсутствием прав доступа, то здесь описано как эту проблему решить.

Также я рекомендую установить расширение CrysTools. С его помощью вы сможете отслеживать использование ресурсов вашей системы и также контролировать температуру графического процессора прямо в интерфейсе.

Чтобы установить CrysTools, перейдите в ComfyUI Manager - Custom Nodes и введите Crys в поисковой строке.

-3

После установки обязательно перезагрузите интерфейс.

-4

По установке у меня все.

Не буду давать советы по настройке узлов генерации в CogVideo, так как у всех разные конфигурации и видеокарты. Когда то давно я сам столкнулся с проблемой и очень долго не мог сгенерировать видео, следуя настоятельным рекомендациям одного «специалиста» в этой области. Поэтому, лучше потратьте какое то время на эксперименты и определите, с какими настройками ваша система работает наиболее эффективно.

Разработчики со своей стороны рекомендуют не вносить изменения, если вы не уверены в своих действиях. Все необходимые оптимизации уже включены в стандартных workflow и отступление от этих рекомендаций может привести к увеличению времени генерации или увеличенному потреблению видеопамяти, что в свою очередь приведет к ошибке и остановке генерации вашего видео.

Если вы испытываете сложности с созданием своего рабочего пространства или вас чем-то не устраивают стандартные представленные разработчиками то в своём Boosty я выложил несколько готовых, простых рабочих процессов для работы с text2video и img2video с возможностью писать промпты на русском языке.

Теперь точно всё. Удачных вам генераций.

-6

Ну и конечно же, если вам понравилась эта статья, буду рад вашим подпискам, комментариям и лайкам. Недавно я запустил Discord-канал и постараюсь поддерживать его насколько возможно, там вы сможете не только следить за новостями, но и общаться, делиться опытом и приобретать новые знания о нейросетях. Чтобы всегда быть в курсе моих новых материалов, подписывайтесь на мой Boosty, Telegram-канал (как зайти в дискорд без проблем и не только в дискорд вы можете почитать в моем телеграмме) и страницу "ВКонтакте". Пока что нас немного, но я надеюсь, что с течением времени сообщество станет больше. Это станет отличной мотивацией для меня активно работать и над другими социальными сетями.