Здравствуйте, дорогие друзья!
Недавно на смену популярной модели SVD (Stable Video Diffusion) пришла новая модель под названием CogVideoX, разработанная группами Knowledge Engineering Group (KEG) и Data Mining (THUDM) в Университете Цинхуа.
Эта модель была обучена на основе длинных и подробных запросов с испольхованием, используя ChatGLM4 и ChatGPT4. Разработчики утверждают, что с каждым обновлением CogVideoX становится все более "способной" к созданию высококачественных видео.
Вы можете ознакомиться с проектом, почитать о моделях и узнать, откуда их скачать, перейдя по этой ссылке. Я же постараюсь кратко изложить информацию, чтобы вы могли быстро начать создавать свои собственные видео.
Главным преимуществом модели CogVideoX по сравнению с другими моделями создания видео является возможность создавать видео на конфигурациях с небольшим объёмом видеопамяти — менее 12 ГБ — и на более старых графических процессорах. Разработчики утверждают, что теперь даже с моделью 2B справится не только популярный RTX 3060, но и более старые графические процессоры, такие как GTX 1080TI.
Но всю эту информацию вы прочтете на странице разработчиков по ссылке выше а мы давайте приступим к установке.
Если у вас до сих пор не установлен ComfyUI, выполните следующие шаги:
1. Убедитесь, что у вас установлены Python и Git. О том, как это сделать, я подробно описал в этой статье.
2. Клонируйте репозиторий ComfyUI. В созданной директории ComfyUI откройте командную строку (CMD) или терминал и выполните следующую команду для клонирования репозитория:
git clone https://github.com/comfyanonymous/ComfyUI.git
3. Перейдите в директорию, куда был клонирован репозиторий введя команду:
(пример) cd d:\AI\ComfyUI
4. Установите необходимые зависимости для работы с помощью команды:
pip install -r requirements.txt
Если эти шаги кажутся вам сложными или непонятными, вы можете скачать портативную версию интерфейса по этой ссылке. Папку из архива следует скопировать в любое удобное для вас место, избегая длинных путей и кириллических символов.
Пример как делать не стоит:
(/home/Василий/Documents/Work/проекты/Current_Project/нейросети\Final_Version\Version_1.0\Source_Code\Main_Folder\Sub_Sub_Sub_Folder3\b_Folder1\Sub_Sub_Sub_Sub_Folder2\ComfyUI)
Далее необходимо клонировать расширение CogVideoX. Перейдите в папку "ComfyUI/custom_nodes". В адресной строке этой директории введите cmd, чтобы открыть командную строку. Введите следующую команду для установки расширения:
git clone https://github.com/kijai/ComfyUI-CogVideoXWrapper.git
Для ускорения рендеринга видео вам также потребуются другие зависимости.
Для пользователей ComfyUI, которые установили его через клонирование репозитория через командную строку:
Откройте командную строку и введите следующие команды:
pip install --pre onediff onediffx
pip install nexfort
Для пользователей ComfyUI Portable версии, которые просто скачали и распаковали архив:
Перейдите в папку "ComfyUI_windows_portable". В адресной строке папки введите cmd и используйте следующие команды:
python_embeded\python.exe -m pip install --pre onediff onediffx nexfort
Все необходимые модели будут автоматически загружены из репозитория THUDM на платформе Hugging Face. Поэтому при выборе модели в узле CogVideo вам не придется загружать их вручную.
Для работы также потребуется скачать файлы по ссылке или из менеджера ComfyUI, указав в поиске t5 и выбрав модели GGUF или FP8 для низкопроизводительной конфигурации или FP16 для высокопроизводительной.
Перед запуском обязательно убедитесь, что используете последнюю версию ComfyUI. Для этого запустите файл update_comfyui.bat в директории UPDATE.
Чтобы запустить ComfyUI, найдите в корневом каталоге интерфейса bat-файл с одним из следующих названий:
run_nvidia_gpu.bat — для работы на графическом процессоре NVIDIA;
run_сpu.bat — для работы на центральном процессоре.
При первом запуске интерфейса загрузка необходимых зависимостей и моделей может занять некоторое время. Вы можете следить за прогрессом скачивания и установки, переключившись на командную строку.
После запуска ComfyUI и загрузки рабочего пространства вы можете столкнуться с красными узлами в вашем пространстве. О них и о том, как с этим бороться, я рассказывал в этой статье. Там всё достаточно просто, и, внимательно прочитав статью, вы легко решите эту проблему.
На странице проекта разработчики указали параметры работы модели. Признаюсь, сначала они меня ошеломили: требования к видеопамяти кажутся просто невероятными, которые никак не назвать общедоступными.
Однако не стоит паниковать. Вы сможете создавать свои видео с комфортом (относительным, конечно), даже если у вас всего 8 гигабайт видеопамяти, используя модель 2B или квантованные модели GGUF. Но не стоит забывать, что GGUF это чистая технология сжатия, она меньше по размеру, у нее значительно меньше требования к памяти но она и ощутимо медленнее, потому что при работе требуются дополнительные шаги для распаковки тензоров.
Стандартные рабочие пространства вы сможете найти и загрузить нажав LOAD и перейдя по пути:
ComfyUI\custom_nodes\ComfyUI-CogVideoXWrapper\examples\
Для работы с GGUF моделями необходимо установить соответствующее расширение. Скачать его можно по ссылке и скопировать содержимое в ComfyUI\custom_nodes либо через менеджер Install via Git URL и вставить туда адрес ссылки "https://github.com/city96/ComfyUI-GGUF.git". После установки полностью перезагрузите интерфейс.
Если вдруг при попытке установить из менеджера какое либо расширение вы сталкиваетесь с отсутствием прав доступа, то здесь описано как эту проблему решить.
Также я рекомендую установить расширение CrysTools. С его помощью вы сможете отслеживать использование ресурсов вашей системы и также контролировать температуру графического процессора прямо в интерфейсе.
Чтобы установить CrysTools, перейдите в ComfyUI Manager - Custom Nodes и введите Crys в поисковой строке.
После установки обязательно перезагрузите интерфейс.
По установке у меня все.
Не буду давать советы по настройке узлов генерации в CogVideo, так как у всех разные конфигурации и видеокарты. Когда то давно я сам столкнулся с проблемой и очень долго не мог сгенерировать видео, следуя настоятельным рекомендациям одного «специалиста» в этой области. Поэтому, лучше потратьте какое то время на эксперименты и определите, с какими настройками ваша система работает наиболее эффективно.
Разработчики со своей стороны рекомендуют не вносить изменения, если вы не уверены в своих действиях. Все необходимые оптимизации уже включены в стандартных workflow и отступление от этих рекомендаций может привести к увеличению времени генерации или увеличенному потреблению видеопамяти, что в свою очередь приведет к ошибке и остановке генерации вашего видео.
Если вы испытываете сложности с созданием своего рабочего пространства или вас чем-то не устраивают стандартные представленные разработчиками то в своём Boosty я выложил несколько готовых, простых рабочих процессов для работы с text2video и img2video с возможностью писать промпты на русском языке.
Теперь точно всё. Удачных вам генераций.
Ну и конечно же, если вам понравилась эта статья, буду рад вашим подпискам, комментариям и лайкам. Недавно я запустил Discord-канал и постараюсь поддерживать его насколько возможно, там вы сможете не только следить за новостями, но и общаться, делиться опытом и приобретать новые знания о нейросетях. Чтобы всегда быть в курсе моих новых материалов, подписывайтесь на мой Boosty, Telegram-канал (как зайти в дискорд без проблем и не только в дискорд вы можете почитать в моем телеграмме) и страницу "ВКонтакте". Пока что нас немного, но я надеюсь, что с течением времени сообщество станет больше. Это станет отличной мотивацией для меня активно работать и над другими социальными сетями.