Mocha: новый инструмент для замены персонажей в видео на основе Wan

Mocha: новый инструмент для замены персонажей в видео на основе Wan.

Многие проекты в этой нише опираются на кадры с масками и направляющие видео с картами глубины/поз/итд. Эта зависимость делает их хрупкими в сложных сценариях связанных с перекрытиями объектов, редкими позами, взаимодействиями персонажа-объекта или сложным освещением. Часто это приводит к визуальным артефактам и нестабильному изображению.

MoCha обходит эти ограничения используя только первый кадр с маской, и рендерит персонажа объединяя разные условия в один поток токенов. Дальше используется RoPE для поддержки референса нескольких картинок и задания длительности видео.

Напоминает Wan Animate, но работает на основе Wan 2.1. Kijai уже добавил в свои ноды и наваял fp8 веса. Также есть и Comfy воркфлоу.

MoCha да мочи!

Сайт

Гитхаб

Comfy воркфлоу

Хаггинг (официальный)

Хаггинг (Kijai)