80 подписчиков
Появилась нормальная рабочая демка AnyV2V на хаггинге. Здесь видео автоматом и подрезается под 2 секунды и конвертится в 8 fps. Процесс разбит на 3 части и для каждого есть справа расширенные настройки.
Preprocessing
Закидываем видео и жмём Preprocess. Оно обрезается под квадрат 512х512 и становится 8 fps.
Причём такое разрешение стоит потому что модель на таких кадрах натренирована, но можно поставить и другое, правда тогда либо будет больше артефактов, либо вообще не сработает.
Чтобы брало на вход не первые 2 сек, поставьте в Start Time с какой секунды надо начать (например 10), а в End Time прибавьте 2 (получится 12). Потому что модель работает только 2 секундными фрагментами.
Если видео обрезалось квадратом не так как нужно, его можно в Horizontal/Vertical offset сместить цифрам и от -1 до 1. Например, если откадрировалось слишком низко, значение -0.7 поднимет камеру.
Image Editing
Тут на вход уже подан фрейм из предыдущего шага. Вписываем в промт что мы хотим получить. Меняться будет то, что вы описываете: например, человека на робота, при этом остальная часть видео не поменяется. Чем чётче и явнее объект на источнике, тем лучше он будет обработан.
Нажимаем Edit и получаем в превью обработанный фрейм. Если нужно, его можно скачать и обработать, скажем, в фотошопе до нужной кондиции, а после вкинуть обратно в туже ячейку. В расширенных настройках есть негативный промт и сид для контроля генерации.
Video Editing
Повторяем промт или меняем как нужно, и жмём Run. Тут в расширенных тоже есть негативный промт и другие крутилки на случай, если будут артефакты. Также, для их минимизации можно попробовать врубить Force resize 512х512 на предыдущем шаге, если вы обрабатывали до этого другое разрешение.
1 минута
5 апреля 2024