Пропустим шаги по установке SD и ControlNet и перейдем к процессу создания gif ну или простого короткого видео силами SD.
Начнем с того, что нам понадобится референс видео для раскадровки, ниже список сайтов со стоковым видео (некоторые сайты работают с VPN).
Pexels Video - https://www.pexels.com/videos/ (скачала здесь)
Pixabay - https://pixabay.com/videos/
Videvo - https://www.videvo.net/
Coverr - https://coverr.co/
Videezy - https://www.videezy.com/
Life of Vids - https://www.lifeofvids.com/
Splitshire - https://www.splitshire.com/
Clipstill - https://clipstill.com/
Mazwai - https://mazwai.com/
Motion Elements - https://www.motionelements.com/free/stock-footage
Убедитесь, что проверили лицензионные условия для каждого видео и прочитали все требования к использованию.
Скачанное видео можно конвертировать в jpg на следующих он-лайн ресурсах.
В итоге, мы имеем набор фотографий, которые и будем обрабатывать в SD.
! Обязательно, вернитесь на вкладку img2img и закройте фото в верхнем окне и в окне ControlNet. Затем откройте вкладку Inpaint (ничего не делаем) и снова переходим на вкладку Batch. Это конечно танец с бубном, но если так не сделать вылезут ошибки.
Далее жмем кнопку Generate и ждем ... (для обработки пакета изображений в количестве 237 шт., необходимо где-то 30 мин для NVIDIA RTX3060).
Пакет обработанных изображений загоняем обратно на сайт, где делали раскадровку и конвертируем их в gif.
В итоге, оптимальными настройки оказались в 0,3 для Denoising strength и Weight ControlNet.
Хотелось бы поделиться несколькими советами: выбирайте видео с хорошим освещением и крупными, четкими чертами лица, а также минималистичным задним планом. При запросе старайтесь указывать больше деталей, таких как цвет волос, их длина, цвет глаз, вид и цвет одежды и т.д. Кроме того, при использовании негативного запроса включайте те детали, которых нет на исходном видео, такие как шапки, капюшоны, серьги, браслеты, надписи на одежде и т.д. Эти советы помогут получить более качественный результат.
