Найти тему

Как нейросети понимают цвета – визуализация на примере цветов года по версии Pantone c 2000 по 2024

by_Ann / Изображение создано с помощью нейросети NightCafe Studio
by_Ann / Изображение создано с помощью нейросети NightCafe Studio

Поскольку единственный способ «объяснить» нейросети, что именно ты хочешь видеть на сгенерированном изображении, это слова, прописанные в промте, то возникает резонный вопрос – а насколько точно эти слова распознаются и интерпретируются. Например, если есть задача создать изображение в определенной цветовой гамме, то задать нужный оттенок тоже придется словами.

Есть, конечно, еще способы повлиять на цвет. Можно выбрать какое-то изображение-основу и дать нейросети скопировать цветовую палитру с него. С этим, кстати, отлично справляется Recraft, где это делается буквально одной кнопкой. Кроме того, в той же Recraft есть опция задать точный цвет по номеру HEX, что очень сильно оценят дизайнеры, работающие с брендбуками и четко прописанными цветами, но чем точно не будут пользоваться все остальные.

В итоге, в большинстве случаев, задать цветовую палитру при генерации изображения необходимо будет именно словами. Для того, чтобы протестировать, насколько хорошо распознает названия цветов нейросеть NightCafe Studio, а точнее модели, которые она использует, я решила взять цвета года по версии Института Цвета Pantone. Оказывается, они уже 25 лет выделяют цвет года, вот как раз, 25 изображений – это отличная выборка. Кроме того, каждому цвету года присвоено определенное название.

Для чистоты эксперимента я прописала один конкретный промт, описывающий акварельный скетч, изображающий модель в стильном пальто. Текст промта (без учета некоторых дополнений, позволяющих немного отшлифовать стиль):

Watercolor fashion scetch style image, plain white background. The cutiest extremely slim girl ever wearing a long beautiful stylish [Color-of-the-Year]-colored coat in a style of a fashion scetch in an abstract fantasy watercolor background

А дальше подставляла нужное название цвета года и смотрела на результат. Теперь покажу, что получилось. В каждой картинке слева изображение девушки в пальто цвета конкретного года, сгенерированное нейросетью NightCafe (использовала модель RealVisXL v4). Справа настоящий цвет года, взятый с сайта Pantone. В подписи к каждому изображению – мое мнение о том, насколько хорошо справилась нейросеть. Давайте смотреть :)

by_Ann / Не могу сказать, что цвет получился близкий к оригиналу, но хотя бы это что-то из области сине-голубого
by_Ann / Не могу сказать, что цвет получился близкий к оригиналу, но хотя бы это что-то из области сине-голубого
by_Ann / Вот тут отлично, чуть ярче и интенсивнее, но в целом, розовая фуксия очень похожа
by_Ann / Вот тут отлично, чуть ярче и интенсивнее, но в целом, розовая фуксия очень похожа
by_Ann / Настоящий красный не совсем того оттенка, но результат вполне достойный
by_Ann / Настоящий красный не совсем того оттенка, но результат вполне достойный
by_Ann / Вот тут просто замечательно, очень близко к оригиналу
by_Ann / Вот тут просто замечательно, очень близко к оригиналу
by_Ann / Тут явно ближе к цвету тигриной шерсти, чем к цвету тигровой лилии, но все равно неплохо
by_Ann / Тут явно ближе к цвету тигриной шерсти, чем к цвету тигровой лилии, но все равно неплохо
by_Ann / Хороший результат, хотя, по большому счету, нейросеть восприняла название как два разных цвета - синий отдельно, бирюзовый отдельно
by_Ann / Хороший результат, хотя, по большому счету, нейросеть восприняла название как два разных цвета - синий отдельно, бирюзовый отдельно
by_Ann / На удивление, отлично!
by_Ann / На удивление, отлично!
by_Ann / Действительно, похоже на перец-чили :) На настоящий перец-чили, а не на цвет, который так назвали
by_Ann / Действительно, похоже на перец-чили :) На настоящий перец-чили, а не на цвет, который так назвали
by_Ann / Хорошо, но тоже скорее тут симбиоз двух цветов, вместо одного оттенка
by_Ann / Хорошо, но тоже скорее тут симбиоз двух цветов, вместо одного оттенка
by_Ann / Отлично!
by_Ann / Отлично!
by_Ann / Тоже прекрасно!
by_Ann / Тоже прекрасно!
by_Ann / А вот тут полный провал! Нейросеть в принципе не поняла, о каком цвете идет речь, и вообще ни в какой цвет пальто не покрасила
by_Ann / А вот тут полный провал! Нейросеть в принципе не поняла, о каком цвете идет речь, и вообще ни в какой цвет пальто не покрасила
by_Ann / Здесь получилось очень даже похоже
by_Ann / Здесь получилось очень даже похоже
by_Ann / Отлично! Кстати, изумрудный цвет вообще очень популярный при генерации изображений, наряду с бирюзовым
by_Ann / Отлично! Кстати, изумрудный цвет вообще очень популярный при генерации изображений, наряду с бирюзовым
by_Ann / Не совсем то, но близко, в целом, неплохо
by_Ann / Не совсем то, но близко, в целом, неплохо
by_Ann / Тоже не совсем тот оттенок, но отражает общепринятое понимание этого цвета
by_Ann / Тоже не совсем тот оттенок, но отражает общепринятое понимание этого цвета
by_Ann / Вот тут цветов года было два, в целом, похоже
by_Ann / Вот тут цветов года было два, в целом, похоже
by_Ann / Очень неплохо!
by_Ann / Очень неплохо!
by_Ann / Более ярко и насыщенно, но очень похоже
by_Ann / Более ярко и насыщенно, но очень похоже
by_Ann / Здорово!
by_Ann / Здорово!
by_Ann / Тоже хорошо!
by_Ann / Тоже хорошо!
by_Ann / Здесь тоже было два цвета, получилось отлично. Правда пришлось все-таки прописать в цвете шляпы "illuminating yellow", а не просто "illuminating"
by_Ann / Здесь тоже было два цвета, получилось отлично. Правда пришлось все-таки прописать в цвете шляпы "illuminating yellow", а не просто "illuminating"
by_Ann / Это еще один провал, цвет вообще не был распознан
by_Ann / Это еще один провал, цвет вообще не был распознан
by_Ann / Здесь ярче оригинала и несколько другой оттенок, но общепринятому понимаю того, как выглядит "маджента" вполне соответствует
by_Ann / Здесь ярче оригинала и несколько другой оттенок, но общепринятому понимаю того, как выглядит "маджента" вполне соответствует
by_Ann / Насыщеннее оригинала, но все равно отлично!
by_Ann / Насыщеннее оригинала, но все равно отлично!

Вывод

В целом, считаю, что создавать изображения с заданным цветом получается очень даже неплохо, за редким исключением. Главное, чтобы все-таки название цвета было более или менее общеупотребимое или универсальное, потому что абстрактные названия цветов, выбранные специально для некоторых цветов года, не воспринимаются как цвета совсем. Кроме того, на примере тех случаев, когда цветов года было два, и хотелось пальто сделать одного цвета, а шляпу другого, стало заметно, что нейросеть плохо разделяет, что каким цветом покрасить. Давно заметила, что гораздо лучше выходят изображения с одним доминирующим цветом, чем, когда пытаешься прописать, что какого цвета должно быть. Например, если пытаешься сгенерировать изображение с несколькими персонажами и прописываешь, кто во что одет, в итоге получаешь примерно одного цвета одежду. Об этом, кстати, есть отдельная статья с конкретными примерами.

Читайте истории, смотрите картинки, тренируйте свое цветовосприятие :)