FaceFusion - это продукт одного из разработчиков популярного дипфейка Roop. Дело в том, что у них произошел разлад, проект Roop закрался, а команда разошлась.
В целом, FaceFusion - это тот же самый Roop, только с интерфейсом на базе Gradio, который многие знают по Stable Diffusion от Automatic1111
Тем не менее множество функций тут вынесены из командной строки в интерфейс.
FRAME PROCESSORS - этот модуль отвечает за обработку кадров.
face_swapper - просто замена лица
face_enhancer - улучшение лица (через GFPGAN)
frame_enhancer - новая опция, апскейлит весь кадр.
EXECUTION PROVIDERS - тут вы выбираете ваш бэкенд, через что будет идти обработка. На видеокартах Nvidia это Cuda либо TensoRT, на AMD это DirectML (DML), если запускать на Windows.
Остальные же параметры в блоке EXECUTION отвечают за скорость обработки. Больше потоков - больше скорость, больше потребление видеопамяти. Поэтому выставляйте в меру, большое количество потоков может привести к вылету либо к замедлению работы.
MAX MEMORY - лимит потребления оперативной памяти.
OUTPUT VIDEO ENCODER - через какой енкодер будут собраны кадры в видео, после замены лица. Для видеокарт Nvidia можно использовать NVENC, так как он базируется на аппаратном ускорении.
KEEP FPS, KEEP TEMP, SKIP AUDIO - Отвечают за то, чтобы Сохранить фпс оригинального видео, оставить временную папку с раскадровками и пропустить аудио.
Средний блок отвечает за выбор файлов с которыми мы будем работать.
SOURCE - фото с лицом, на которое будем менять
TARGET - фото или видео, в котором будем менять лицо
OUTPUT PATH - где будет сохранено видео. Также в Output появится итоговое видео
Третий блок содержит в себе:
PREVIEW - Тут вы можете посмотреть как будет выглядеть замена.
FACE RECOGNITION - выбор распознавания лиц. Либо на основе референса, либо все лица.
REFERENCE FACE - тут как раз и будут лица, распознанные на кадре из превью. Выбирая их, вы выбираете какое лицо будет меняться в кадре.
Оставшиеся параметры отвечают за настройки анализа лиц.
Что касается скорости работы - я не заметил разницы с последней версией Roop. Все примерно точно так же, шустро, но можно и шустрее (Refacer и Rope тому примеры)
Как обычно, я сделал портативную версию с запуском в 1 клик. Пока что готова версия для Nvidia, версия для AMD будет позже, ссылку на нее оставлю у себя в Телеграм канале.
Скачать портативную версию можно по ссылкам:
Мое облако | Яндекс Диск
Особенности портативной сборки:
- Запуск в 1 клик, не надо ничего устанавливать
- Удалена 18+ цензура.
- Обновлены библиотеки CUDA (Cudnn 8.9.4)
Последующие обновления, а так же другие дипфейки можно найти у меня в Телеграм канале, а пообщаться на тематику всего, что связано с нейронками - можно в нашем чате.