Найти тему

Портрет реального человека в разных стилях при помощи нейросети Stable Diffusion

Подруга попросила сделать ей интересный портрет при помощи нейросети. Я решила и человеку приятно сделать, и для себя попробовать новый вариант обучения Stable Diffusion.

Для обучения мне нужно было как можно больше фотографий на разном фоне, с разных ракурсов, с хорошим освещением. Чем больше фотографий, удовлетворяющих указанным критериям, тем качественнее результат.

У подруги получилось отобрать только 14 фотографий из последнего. 14 тоже неплохо.

Я обрезала их до размера 512х512, сгенерировала описания (которые в итоге оказались не нужны🤦‍♀️) и приступила к обучению. Потратила уйму времени, пытаясь разобраться почему то на одном, то на другом этапе ошибка вылазит🤪 Но всё-таки победила и обучила кусочек нейросети на конкретном лице. 💪🏻 Умею быть упёртой (иногда шучу, что до конца не ясно упорная я или упоротая😂).

Разрешение на показ фотографий в статье я получила, так что давайте посмотрим что в итоге получилось.

Вот фотографии, которые я получила для обучения нейросетки:

Фотографии подруги уже обрезанные для обучения
Фотографии подруги уже обрезанные для обучения

Надо было, конечно, попросить конкретные примеры желаемого результата, но я зачем-то удовлетворилась фразой, что нужен рисованный портрет. Может сыграло роль, что по фану и для подруги. Потому что, когда я что-то рисовала на заказ, то всегда просила примеры того, что человек ожидает увидеть.

В общем, обучила кусочек нейросети и погнали!

Я не стала делать сложных запросов. Написала просто "a beautiful woman portrait", добавила ключевое слово обучения и потом подставляла имена художников в разные части запроса (результат меняется, если меняются местами слова и фразы в запросе).

Вот, например, что-то в духе 30-х годов, мне кажется⤵

Показывать буду только наиболее удачные. Всего генераций, конечно, намного больше, но не хочется пугать вас лишний раз 🙂

Так как чёткого ТЗ на стиль у меня не было, я попробовала ещё и мрачноватую стилистику. Сначала он мне правда сгенерировал женщин ну совсем, даже отдалённо, не похожих на реальные портреты.

Потом удалось добиться некоторого сходства⤵

Да, есть искажение, что-то гипертрофировано за счёт стилистики. Но всё равно можно проследить форму лица, как посажены глаза, скулы, форму носа.

Были ещё вот такие варианты, как с полотен старых мастеров:

И ещё немного мрачняка:

Роковые женщины💃🏻

После них захотелось ярких красок🙂

И ещё стиль. Такой очень выглаженный что ли:

Немного в стилистике картин, которые на заказ на холсте делают. Вы, возможно, встречали в интернете.

Отправила подруге и оказалось, что все стилистики мимо😅

Вот что значит работать без чёткого ТЗ🙂

Я после нашего разговора сменила модель в нейросети и сделала ещё несколько более реалистичных вариантов, без имитации живописи.

А потом ещё совсем чуть-чуть удовлетворила личное любопытство и сгенерировала пару стилизованных мультяшных вариантов😊

Это, кстати, варианты в сочетании с моделью, которую я обучала ранее. Хотела оставить ссылку на статью и обнаружила, что не писала ничего про это😲

А вот диснеевская модель, которую я скачивала ранее, выдала что-то даже близко не похожее на реальный портрет⤵

В общем, опыт интересный.

Может даже, наверное, стать одним из вариантов подработки. Бесплатно я точно не буду повторять этот опыт, так как очень времязатратно выходит.

А какой вариант портрета вам понравился больше всего?

Не забывайте ставить лайк. Это способствует развитию канала и мотивирует меня писать чаще.❤