Найти в Дзене
Пикабу

3d редактор поз для ControlNet в Stable Diffusion

Друзья, совсем недавно, когда только появился редактор для OpenPose я ванговал, что через пару недель у нас появится редактор поз прямо на странице генерации около ControlNet и мы сможем быстро и просто генерировать позы и даже сохранить свои самые используемые позы в библиотеку. Помните?

Но я даже и подумать не мог, что это будет в 3д, т.е. нам больше не нужен этот гайд чтобы перевернуть персонажа! Встречайте - Posex!

Что нам потребуется:

Актуальный Automatic 1111 с установленным и активированным ControlNet в коллабе или локально.

Промпт по которому мы будет генерить изображение, у меня Бунтарка, у вас может быть кто угодно.

Установка расширения как всегда простая, отправляемся в Extensions - Avalibale - Load from. Находим в списке Posex, жмем Install, Возвращаемся на вкладку Installed и жмем Applay and restart UI. Если все прошло хорошо, то у вас появился новый аккардеон на вкладках txt2img и img2img с названием Posex, как у меня на картинке выше.

Чтож, начнем с промпта, раз мы можем теперь крутить куклу во все стороны, то сделаем Бунтарку балериной танцующей в розой балетной пачке.

.
.

У меня получилось так, теперь фиксируем сид и отправляемся в Posex. Начнем с того, включим галочку Send this image to ControlNet, чтобы оно вообще активировалось, не забудьте в самом ControlNet выставить модель OpenPose, препроцессор не нужен. Не знаю бага это или фича, но у меня даже при снятой галочке Enable в ControlNet все равно трекалась поза из Posex.

-3

Теперь выставим разрешение такое же как и наша генерация - 512х768, просто пишем в Canvas Size. Когда разрешение выставлено можно нажать на кнопку Add и добавить куклу в окошечко. Вот так это выглядит у меня.

-4

Запускаем генерацию, чтобы проверить как это все работает. А работает все отлично, получи ли Бунтарку в розовой пачке и Т позе.

-5

Значит можно приступить к редактированию позы. Но сначала разберемся в управлении. Кликните и удерживайте левой кнопкой мыши в пустое место на черном фоне и сместите мышку, таким образом вы можете повернуть куклу боком.

-6

А вот что у нас сгенерировалось, не смотря на фиксированный сид задник меняется, стоит использовать еще один слой ControlNet, если хотите зафиксировать задник.

-7

Когда надоест крутить персонажа, просто нажмите Reset Camera, потому что нормально вернуть куклу в изначальное положение у меня не получилось =)

С помощью колесика мышки вы можете приблизить или отдалить персонажа. А если кликните правой кнопкой мышки и удержите то сможете сдвинуть камеру в стороны. Я приближу чтобы получить super closeup, хотя пока это больше похожа на муравья.

-8

И вот что у нас получается на генерации, Бунтарка явно удивлена таким пристальным вниманием.

-9

С базовым управлением разобрались, осваиваем ключевую механику, передвигаем кости. Как это сделать наведите курсором мышки на сустав который хотите передвинуть и как только увидите рамку вокруг куклы, значит кликайте и тяните в нужную сторону.

-10

И так, вроде разобрались, теперь время придумать какую-нибудь креативную позу, этот редактор действительно удобнее чем OpenPose, так что уж теперь-то это не займет много времени.

Вот такая поза получилась у меня, это не кандратий, это балет. Генерируем.

-12

Отличный результат, а теперь давайте повращаем нашу балерину.

Думаете что в этом слишком мало экспрессии и динамики? Не проблема, выставим камеру сверху под каким-нибудь странным углом.

Другое дело, что еще можно делать интересного, вы можете сохранить позу в библиотеку поз и использовать её повторно, для этого нажмите Save Pose, и после того как укажите имя для позы она сохранится внизу. Еще вы можете сохранить картинку с позой отдельно или копировать её в буфер обмена, чтобы вставить куда-нибудь.

-15

Еще можно загрузить сюда фон, чтобы примерить как будет выглядеть персонаж, а фон потом можно сделать через ControlNet.

-16

Но для этого придется сохранить карту с позой и загрузить её через ControlNet, потому что на момент написания этого текста многослойный ControlNet и Posex работают не корректно, может быть это уже исправиться к тому моменту как вы это читаете, так что проверьте. А пока снимите галку с Send this image to ControlNet в Posex. Теперь закинем все по отдельности в ControlNet, у меня выглядит так.

И вот такой прекрасный результат получаем, Бунтарка танцует на сказочной полянке в окружении облачков.

-18

По моему отлично, мне нравится новый редактор. Уверен он понравится и вам, он конечно еще очень сырой и глючный, но пользоваться им уже удобнее чем OpenPose Editorом.

А на этом у меня все, увидимся на стримах!

----

Мой телеграм канал, все секреты и советы, мои работы, нейро-новости, промпты, ссылки на стримы и многое другое только в нем, подпишитесь!

В чате нейро-операторов, можно попросить картинку, поделиться опытом или задать вопрос.

Записи моих обучающих стримов доступны на Бусти, там же выложены ххх сеты и можно получить доступ в секретный чат, где я буду учить тебя генерить в ламповой и уютной атмосфере.

Мои видео уроки по Stable Diffusion можно посмотреть на YouTube, подпишитесь, чтобы не пропустить новые ролики.

Пост автора Nerual.Dreming.

Комментарии к посту на сайте Пикабу.