Здравствуйте, друзья!
Сегодня я хочу рассказать вам об интересной SDXL модели для генеративных нейросетей Stable Diffusion и Fooocus.
Название модели Dream Diffusion SD3 by DICE. По ссылке вы найдёте три версии этой модели: Lightning, Hyper SD и SD. Если вам понравятся эти модели, то вы сможете посмотреть все модели этого автора здесь.
Автор утверждает, что она максимально приближена по качеству генерируемых изображений к Stable Diffusion 3. Давайте попробуем разобраться, насколько это соответствует действительности.
Вот текст со страницы модели, написанный автором:
«Сходство Dream Diffusion SD3 максимально приближено к тому, как рендерится SD3. Соответствие довольно хорошее.
Я посетил различные веб-сайты, на которых были опубликованы подсказки для модели SD3, и протестировал на этой модели многие из них. Она работает очень хорошо.
Очевидно, трудно сказать, сколько попыток потребовалось модели SD3 для создания тех изображений, которые вы видите в интернете. Например, для этой модели с четырьмя бутылками потребовалось около пяти попыток, чтобы получить желаемый результат. Имейте в виду, что ни одна другая контрольная точка не смогла добиться такого же эффекта».
Давайте попробуем создать изображение с бутылками, которое было описано автором. Для этого нам нужно установить все параметры, как указано в правом нижнем углу в разделе Other metadata.
Все последующие настройки для SD Forge взяты из метаданных изображений, указанных на странице с изображением. Для Fooocus они варьируются в зависимости от конкретного изображения.
Ниже приведены настройки Fooocus которые я использовал при написании статьи, у вас они могут отличаться.
* preset turbo;
* performance speed;
* все стили отключены;
* Guidance Scale - от 1.5 до 4 (в большинстве случаев 2);
* Image Sharpness - от 2 до 4 (в большинстве случаев 4);
* CLIP Skip - от 1 до 3 (в большинстве случаев 2);
* Sampler — dpmpp_sde;
* Scheduler — karras.
Для Fooocus рекомендуется принудительная запись шага сэмплирования (Forced Overwrite of Sampling Step) от 7 до 30. В большинстве случаев это 10-11 шагов.
Если при генерации изображения вы замечаете, что оно получается слишком резким и "пережженным", попробуйте уменьшить количество шагов до 7 (иногда помогает снижение значения параметра Guidance Scale до 1). Затем постепенно увеличивайте значение до тех пор, пока вас не устроит результат.
Как вы можете заметить на представленных изображениях, обе нейросети допустили ошибки как в цветах бутылок, в форме бутылок и за несколько генераций путала расположение цифр на бутылках, указанных в промпте. В процессе генерации они постоянно меняли количество бутылок и другие детали.
Давайте посмотрим, что получится, если попытаться повторить изображение хамелеона, которым так гордились в презентациях Stability AI, связанных с SD3.
Промпт берем из описания модели:
Studio photograph closeup of a chameleon over a black background
И как ни странно, но оба изображения сильно напоминают те, которые были созданы в SD3. Но, как мне кажется, дело в том, что эта модель училась на тех же или очень похожих референсах, что и SD3.
Давайте рассмотрим ещё один пример. Например, этого тигренка созданного в SD3.
Промпт берем из описания модели:
Resting on the kitchen table is an embroidered cloth with the text ‘good night’ and an embroidered baby tiger. Next to the cloth there is a lit candle. The lighting is dim and dramatic
С текстом, как всегда, получается непредсказуемо, и остаётся только надеяться на удачу. Хотя в этот раз Fooocus создал изображение лучше, чем обычно. Не подумайте, что я хочу сказать, что Fooocus лучше, чем SD Automatic1111 или SD Forge. Но то, что сгенерировал Fooocus, ближе к исходному изображению. И это несмотря на то, что автор рекомендует использовать сэмплер DPM++2M Turbo, которого просто нет в Fooocus, и пришлось подбирать наиболее подходящий сэмплер из имеющихся.
Теперь давайте спустимся вниз и попробуем сгенерировать еще несколько изображения из галереи сообщества. Я выбрал вот этого мага в алхимической мастерской.
Ну и на последок давайте еще и эту даму рассмотрим поближе.
В заключение хочу сказать, что у меня сложилось неоднозначное мнение об этой модели. С одной стороны, она создаёт интересные и качественные изображения. С другой стороны, она не всегда корректно отображает текст и часто допускает ошибки. Также стоит отметить, что иногда изображения могут получаться не совсем такими, как ожидалось, и болезнь под названием "руки и пальцы и хвосты" эту модель не обошла стороной.
Вы скажете, что у большинства моделей есть эта болезнь, а многие так вообще писать не умеют. Да, согласен, но начитавшись заверений автора и отзывов о модели я ожидал немного большего. Тем не менее, я продолжу работать с этой моделью, чтобы окончательно понять, стоит ли она того, чтобы занимать место на моём жёстком диске.
А вам хочу пожелать всего наилучшего и до новых встреч.
P.S: Хотелось бы узнать ваше мнение об этой модели и увидеть, какие изображения получаются у вас при её использовании.
Ну и конечно же, если вам понравилась эта статья, буду рад вашим подпискам, комментариям и лайкам. Недавно я запустил Discord-канал и постараюсь поддерживать его насколько возможно, там вы сможете не только следить за новостями, но и общаться, делиться опытом и приобретать новые знания о нейросетях. Чтобы всегда быть в курсе моих новых материалов, подписывайтесь на мой Boosty, Telegram-канал и страницу "ВКонтакте". Пока что нас немного, но я надеюсь, что с течением времени сообщество станет больше. Это станет отличной мотивацией для меня активно работать и над другими социальными сетями.