Таки здравствуйте.
Я как настоящий дед с плохой памятью нуждаюсь в пометочках.
Сперва я хотела сделать себе заметку в ВОРДЕ! что бы в любой момент можно было подсмотреть и вспомнить примеры, но потом решила "че добру пропадать, авось и лягушаткам пригодится."
Рассмотрены мною будут данные модели, их можно найти в свободном доступе через гугл:
- Deliberate_v6
- openjourneyLora
- v1-5-pruned-emaonly
- sdXL_v10VAEFix
- AnythingXL_inkBase
- dreamshaper_8
- 3moonREALCartoonMost_3moonREALCartoon
- juggernautXL_v9Rdphoto2Lightning
- realisticVisionV60B1_v51VAE
- toonyou_beta6
Моделей еще великое множество, возможно со временем я дополню список в этой статье.
Кроме того модели будут сравниваться в разных Sampling method (а точнее Euler a/DPM+++2M), кроме того с использование ControlNet v1.1.444, с процессором depth_leres++ и моделью control_depth-fp16 [400750f6]
В общем, как устанавливать и где качать я рассказывать не буду, это рассказали многие до меня, я буду сравнивать.
Начнем.
Все началось с того что мне упал заказ на монтаж:
"сделать анимацию танца Джексона в неоне, на подобии тех что включают на рейвах."
Я прихуела офигела, при том что желаемый бюджет 500 рублей, и че то наворотила при помощи haiper.ai, скажем так...не очень мой вурдалак мне понравился.
Суть той ai для меня было оживление пикч, и склейка в один типо "танец".
И я решила что использовать сторонние ии для слабаков, ведь все мы видели этих созданных какими-то ии-шками танцующих тяночек в тик-токе...ну или где мы там их сейчас видим?
И вот в поиске было вбито:
"как сделать из видео аниме"
И найдена мной чудо машина Stable Diffusion.
Перейдем наконец то к сравнению.
За основу я уменя будет вот такая пикча, обращаю внимание что я переделываю ее в аниме стиль для видоса.
Условия:
Stable Diffusion by AUTOMATIC1111 версия.
Еще раз обращаю внимания что у меня включен ControlNet v1.1.444, с процессором depth_leres++ и моделью control_depth-fp16 [400750f6], подробнее о них вы можете почитать тут .
Промты: anime style, man, detailed, color, wearing a white hat
Негативные промты: (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation
И у меня задано значение Seed 3441046843.
Я задавала создание по 2 результата +еще один от ControlNet, и выбирала лучший из двух для таблицы.
Я бы хотела привести это все в виде некоторой таблицы, но здесь это сложновато воплотить, но я попробую устроить подобие.
Название. / Описание(от меня кратко). / Euler a. / DPM+++2M.
sdXL_v10VAEFix - с ним возникли проблемы с применением ControlNet, в итоге результаты без применения оного, и от того он так далек от истины.
juggernautXL оказался тоже проблемный, и не захотел работать с ControlNet, на гитхабе многие писали что эти модели не работают с СontrolNet, некоторые писали что работали до того как они перешли на Stable Diffusion by AUTOMATIC1111.
Мое сравнение моделей, как некоторая заметка, скорее была выполена для меня самой, я еще хочу сравнить модели позже на одинаковой фотографии и на текстовом запросе, но это уже будет позже.
А вот то, ради чего я это все затеяла:
Итогого:
У меня был в ключен ControlNet c depth_leres++ и openPose. Видео было разбито и взят каждый 12 кадр, видео долгое (в итоге оно обрезано), в первом варианте с каждым 12-м кадром у меня было 500+ кадров. Из них в итоге взяты в работу только 290 кадров.
Рекомендую при работе включать еще больше плагинов ControlNet для еще более высокой точности, и брать больше чем 12 кадров, минимум 15, пожалуй.
Категорически рекомендую, если будете это делать, вырезайте человечка предварительно, либо снимайте на очень простом однотонном фоне.
Рендер, вместе с увеличением качества через тот же SD, занял у меня около суток в сумме. Nvidia GTX 1660. Очевидно на более сильной видюхе будет шустрее.