Начнем с того, что из-за некоторых проблем с установкой кое-какого расширения я в итоге снесла свой автоматик и установила заново, используя архивы отсюда. Спасибо милому человеку, что делится подобными вещами. Файл безопасен, а в него уже встроена парочка плюшек.
Итак, пытаясь в 1.6 разобраться в таких штучках как SD VAE и Clip skip, я решила все проверять на практике. Одно дело - прочесть в интернете, что это такое и с чем его едят, совсем другое - увидеть эту разницу на примерах.
В эксперименте приняли участие пять моделей: revAnimated_v122, realcartoonPixar_v3, raemumix_v51, dreamshaper_8, deliberate_v3.
Все модели я попросила нарисовать одно и тоже: человека-амфибию с уточнениями.
human/amphibian hybrid, jellyfish skin, hair-tentacles, perfect eyes, underwater, ultra-realistic illustration, intricate, sci-fi, highly detailed, digital painting, artstation, concept art, sharp soft focus, illustration, 8k, art by artgerm, perfect design, clean
Уверена, что теперь, раз я его написала, мне прилетит предупреждение от Дзена, что у меня контент на иностранном языке. Он за это блокирует мне очень многие статьи, ставя их в раздел "только для подписчиков". Хотя может блокнуть и за сами изображения, так как ниже полно полуобнаженных девушек :(
В любом случае, поехали (предупреждаю - это надолго).
Амфибия - это земноводное, но я хотела бы, чтобы на голове все же присутствовали щупальца, существо находилось под водой, а кожа была прозрачная, как у медузы... Но зеленое, с перепончатыми пальцами, может быть змеиным хвостом? Впрочем, моя цель посмотреть, что вообще мне предложит нейросеть по такому вот не особо точному запросу.
В этой статье разберем озвученную выше тему через модель: revAnimated_v122
Много весит. Раньше не использовала. Захотелось. Специализируется на:
- Fantasy
- Anime
- semi-realistic
- decent Landscape
Первый запрос я сделала без негативного промта, так как подобное накладывает на ИИ определенные ограничения. Остальные параметры:
DPM++2M Karras
768x768
28 шагов
CFG Scale - 7
Ставим VAE - от автоматик, а клип скип - 1. 14 изображений. Получаем это:
Для чистоты эксперимента ничего не убирала, не редактировала. Все 14 - тут.
Первое, что мне не особо понравилось - выделение груди, причем такое... кхм... ужасное. Глаза - почти все надо править. Единственные руки, точнее пальцы, появившиеся в кадре - тоже кривые.
В остальном же не могу сказать, что с запросом моделька справилась, но она нарисовала мне человека-медузу, почему-то исключительно женский вариант, но пусть так. Однако эта грудь... господи-боже.
В итоге я все же добавила негативный промт ( nude body, naked breasts, breasts, tits ) на обнажение и грудь вообще. Далее вся проверка ведется на шести изображениях.
Цветовая палитра в таком случае сильно меняется. Да и результат в принципе сильно отличается, хотя беда с пальцами и глазами сохраняется.
Тогда что будет, если ВАЕ убрать вообще?
Следующие две подборки без него, клип скип все еще на единице, а промт на обнажение то включен, то выключен.
Так-с, ну, как мне показалось, с глазами теперь стало похуже, но в основном - больших изменений нет.
Теперь следующий vae-ft-mse-840000-ema-pruned
Берем все те же шесть изображений то с негативным уточнением, то без него:
По глазам и рукам могу сказать, что во всех трех случаях их все равно надо дорабатывать или создавать до тех пор, пока не получится. Негативный промт на уродство и деформацию я пока добавлять не буду. Чуть позже. Однако если говорить о проработке остального и цветовом спектре, композиции, то вот с этим ВАЕ красок и деталей, на мой взгляд, больше. Но не так чтобы реально заметно. Можно спихнуть на рандом.
Сейчас переходим на клип скип 2. Параметры все такие же.
ВАЕ от автоматик. С негатив и без на грудь:
Интересный результат, он реально отличается, но проработанность, яркость - все же ниже, да и глаза... ох эти глазки. Но если поправить отдельно, да и наклепать изображений побольше, думаю, там найдется достаточно красивых картинок. От себя могу сказать, что результат мне определенно нравится, хоть земноводными это и не назвать... Ну или вполне возможно, что все эти странные девушки земноводные, но я-то представляла себе другое.
Что касается промта на обнажение:
Вариативность поражает, другие краски... да и вообще - отличий море. Мне нравится. Я, если честно, не думала, что данный параметр может настолько что-то поменять. Особенно первое изображение! В общем, думаю, даже после эксперимента я продолжу пользоваться данной штучкой, чтобы получать больше вариантов.
Теперь без ВАЕ, но с клип скип 2.
Что ж, и я вновь довольна. Причем даже не знаю, как сравнивать между собой результаты. Под итог статьи я попробую это сделать, но сложно. У каждого варианта свои плюсы. Одно могу сказать точно - между отсутствием ВАЕ и ВАЕ от автоматик я какой-то реальной разницы не заметила. Но вот если менять клип скип - разница все же есть.
С негативным промтом на обнажение результаты тоже интересные.
На этом этапе хочу отметить, что с параметром клип скип - 2, даже без промта на грудь той самой ужасной груди не получается. Совпадение? Пересмотрите сами.
Сейчас глянем еще с ВАЕ ...840000 и тогда станет ясно, действительно ли это так.
Хм... А вот здесь это уродство таки проявилось. А жаль. С другой стороны, среди этих шести вообще больше того, что мне не нравится. Это и руки, и грудь, и глаза... Меня здесь зацепило только пятое изображение.
Здесь присутствуют и интересные варианты, но вот разнообразия гораздо меньше.
Пришло время сделать парочку выводов:
Первое.
Относительно этой модели и этого запроса - без негативного промта на грудь, рисует нейросеть какую-то жуть в области груди, в остальном же - я ею довольна, но ей нужны уточнения, и все же с нереалистичным запросом она справляется. Касаемо рук и глаз... ну, все не так уж плохо. А вот параметр ВАЕ - с этим очень сложно. Думаю, автоматик вполне со всем справляется. Клип скип же действительно местами сильно меняет результат.
Допустим, сравним изображения с ним и без на автоматик, изображения чередуются. С клип скип 2 - цвета в запросе без негатив-промта сильно отличаются. В запросах с негативным промтом могут появиться довольно яркие необычные изображения.
Если же смотреть в общем, то по моему мнению ВАЕ как-то уж сильно на результат не повлиял. Артефакты все равно есть. Возможно, данный параметр гораздо лучше себя покажет на более вменяемом запросе.
Клип скип - я использовать точно буду. Он выдает порой очень яркие и интересные изображения, а также меньше уродств с грудью.
Негативный промт - это вообще что-то с чем-то. Стоит запретить нейросетке рисовать обнаженку, как он не только одевает получившуюся красавицу, но и меняет цвета вообще...
Но на этом наш эксперимент еще не завершен.
Теперь возьмем стандартный негативный промт, чтобы не было уродств и прочего, и посмотрим, как будет меняться результат по все тем же параметрам.
(deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, (mutated hands and fingers:1.4), disconnected limbs, mutation, mutated, ugly, disgusting, blurry, amputation
ВАЕ от автоматик, клип скип 1.
Даже не получив еще никакого результата, я уже была уверена, что реально смутировать ИИ в таком случае ничего не сможет. Не получится у него недочеловек, если ему запретить свободно выворачивать конечности, волосы, лицо и так далее.
Что и требовалось доказать. Да, они, конечно, красивые и больше похожи на русалочек, но это не то существо, что я заказывала. Вообще. Хотя очень радует, что в таком случае решается проблема с грудью. С глазами, на мой взгляд, тоже меньше проблем. А единственные на 14 изображений руки - вполне неплохие.
Если же в уже написанный негативный промт добавить еще и инфу по обнаженке, то получим это:
Как и раньше, мои уточнения на грудь и обнажения не просто одевают персонажа, а меняют палитру. Ума не приложу почему. Но вот так вот.
Из предыдущих экспериментов я поняла, что без этого уточнения клип скип 2 от клип скип 1 сильных изменений не показал, поэтому следующая коллекция создана по объединенному промту на ВАЕ от автоматик и клип скип 2.
И мне снова же больше нравится этот результат, если смотреть по цветовой палитре и разнообразию! Но на самом деле интересны работы и с 2, и с 1. Надо попробовать отключить негативный промт и посмотреть на еще большие значения клип скип.
Увеличим до 3.
С негативным промтом.
Без него.
Как видите, появляется та самая грудь. Однако сам результат все же уже не тот, не то, что я хотела. Но близко.
До 4.
С негативным промтом только на грудь и обнаженку.
Так, ну тут уже прямо серьезное отхождение от промта идет и уродства вернулись, хотя костюмы красивые.
И с универсальным негативным без уточнений на грудь. На 4.
Это красиво, интересно, необычно и не то, что я просила. Но мне очень нравятся цвета.
И под конец давайте глянем на этих же настройках 5, 6 и 7 клип скип по три штучки.
Могу сказать, что и среди этих изображений есть интересные, а уж последний на семерке - просто чудо XD. Однако идеальным все-таки я бы назвала клип скип 2.
Последняя проверка - посмотрим ВАЕ на клип скип 2.
Если его отключить.
Все еще красивые и не выкрученные благодаря негативному промту. В чем тогда разница между "нет" и "автоматик" - я не понимаю.
840000
Вопрос все тот же. Существенных отличий, которые не подойдут под обозначение "рандом" - я не вижу.
Подведем итоги.
Модель со своей задачей вполне справляется, если не сильно нагружать ее негативным промтом и точно давать указания. Иными словами, если вы пытаетесь создать неведому зверушку или недочеловека, то любые слова в негативном промте типа "мутация" или на определенное количество конечностей, скрученность и т.д. и т.п. сильно повлияют на полученное изображение. Негативный промт в принципе очень сильно влияет на результат.
ВАЕ - особой разницы я не заметила. По умолчанию у меня стоит автоматик, пусть и стоит дальше.
Клип скип: если вам нужен точный результат, но с чуть большей вариативностью, я бы рекомендовала ставить на 2. Если хочется просто посмотреть на что-то, что вообще не совпадает с промтом, то шестерки-семерки уже, похоже, хватит. На 12 - там вообще выдает что-то несуразное и кривое.
Последней подборкой я покажу вам, что выдаст мне нейросеть без негативного промта на клип скип 8 (убрано три результата - там прямо обнаженка обнаженкой), 9 (удивительно, что здесь к запросу ближе, чем в восьмерке) и 10 .
Остальные четыре модели в следующий четверг. Промт останется тем же, ВАЕ я уже менять не буду. Буду смотреть по клип скип, негативному промту и вообще насколько модель попадает в непростой запрос.
Увидимся 😘.
