Без фотошопа не получилось)

Всем привет! Неделю назад установил Automatic для работы со Stable diffusion и с тех пор не могу оторваться. Первый "вау" эффект был после установки модели CyberRealistic для генерации фотоподобных картинок. Второй "вау" был после обучения LoRA лицу жены. Третий "вау" был после успешной замены лица на фото на своё с помощью LoRA. Я тут расписал в паре строк все, но это на самом деле часы экспериментов, попыток, поиска...

Сегодня расскажу, как сделать вот такой вот портрет с двумя человеческими лицами и ещё котом (кот тоже свой, у него своя LoRA).

На создание этого фото у меня ушло 2 часа.

Если что, Лора - это как бы представление лица (в нашем случае) в памяти нейросети. Нейросеть рассматривает ваши фотографии и запоминает, как вы выглядите.

Итак, начнём.

1. Создание референса. Задаём промт (запрос) на отрисовку графа с графиней и их котом на коленях.

Так выглядит интерфейс Automatic с промтами.

Получаем, не с первой попытки, вот такой вариант

Вариантов было штук 10-15. Причёска графа не самая подходящая, да и кот всегда выходит криво. Возможно, я пока ещё не знаю негативные промты для правильной отрисовки животных. Но это не так важно, потому, что лица и мордашки будем заменять.

2. Далее по очереди заменяем лица (img2img - inpaint). Stable Diffusion не может заменить все лица сразу за раз. Может даже и может, но с этим долго возиться. С 20ой попытки, меняя параметры, получаем более-менее подходящий результат. Каждая попытка на видеокарте RTX3060 mobile проходит за 6-9 секунд.

Создаём маску на лице и сохраняем вариант.

Затем, аналогично меняем лицо девушки. Далее я увеличиваю разрешение (512*512 на 1024*1024) с помощью функции Extras. Переходим к котику. На него тоже уходит минут 15-20.

Получаем черновик.

Я, конечно, хотел получить готовый результат в SD, но никак не вышло, сколько бы я не менял количество шагов, параметры CFG и др. За спиной остались артефакты, кот жирненький, кожа плеч слишком гладкая, пальцы как всегда. Но всё же у нас есть отличный черновик, который можно уже легко доработать в фотошопе с помощью кистей, штампов, затемнений и других инструментов.

Работа в фотошопе заняла ещё минут 15-20.

Все косяки, над которыми была произведена работа, я выделил красным маркером на фот выше. На кожу был добавлен естественный шум - шероховатость. В итоге получаем готовое изображение.

Кот у нас более коричневый, ну да ладно.

Не знаю, зачем ИИ мне сделал меховой подклад под пиджаком, видимо, от запроса пушистой шерсти кота перешло, как и на накидку жены.

Вот и весь рассказ вкратце. Надеюсь, было интересно. Отвечу на вопросы в комментариях, пишите! Всем добра и творческих успехов!