Работаем в нейросети KREA по ассоциативному промпту и получаем нестандартные решения.
Что такое ассоциативный промпт
Необходимым условием для генрирования изображения в нейросети является наличие словесной подсказки, промпта. Промпт описывает генерируемое изображение, и чем точнее нейросеть выполняет задание, тем лучше считается результат. В этом случае нейросеть выступает исполнителем идеи. Но есть и другой подход, когда нейросеть является генератором новых идей. Критерием оценки в этом случае является не точность выполнения задания, а неожиданность решения. Одним из способов получения от нейросети нестандартных решений является метод работы по “ассоциативному” промпту.
Как сформировать ассоциативный промпт?
Очень просто: человек смотрит на случайно выбранную картинку и записывает свои ассоциации. Это может быть пейзаж, портрет любимой собаки, любая непонятная картинка, сюжет не важен. Важно что слова и фразы пишутся спонтанно, и ни каких заранее продуманных взаимосвязей между ними нет. Конечно, существует способ генерации рандомных промптов. Но рандомный промпт содержит осмысленное высказывание, которое является заданием для нейросети. А мы не хотим давать нейросети конкретного задания. Еще существуют генераторы случайных текстов. Но такие тексты лишены всякого смысла, а поток ассоциаций, это осмысленные высказывания, хотя они и не содержат прямых указаний к действию нейросети.
Визуальный промпт
Для работы нам нужна не только словестная, но и визуальная подсказка. Работа происходит программе KREA в режиме Image 2 imаge. Мы загружаем в левое окно программы любую картинку, потом пишем промпт (в данном случае это случайные ассоциации человека, возникшие при рассматривания совершенно другой картинки), нажимаем кнопку “генерировать” и практически сразу в правом окне получаем результат, который можно сохранить на диск. Если мы хотим сохранить одновременно изображения и левого и правого окна, то проще всего сделать скриншот экрана. Чем мы и воспользовались при подготовке иллюстраций к данной статье.
Проведем эксперимент
В эксперименте участвует реальный человек, художник, у художников хорошо развито ассоциативное мышление.
Автор ассоциативного промпта и картин Анна Сеймеченко.
Генерировать будем в нейросети KREA в режие Real Times.
Пишем ассоциативный промпт
В качестве изображения для формирования ассоциаций была выбрана фотография ваз. Почему вазы? Это объекты простой формы, они абстрактны и не несут в себе содержательного аспекта. Это не сюжетная картинка, не портрет, не пейзажи с конкретными деталями. Но и не абстрактное изображение, глядя на которое не возможно понять с чем именно связаны возникшие ассоциации.
Первые ассоциции были просты и лаконичны. Это очень хорошо для промпта, поскольку нейросеть воспринимает помпт, отбрасывая сложные выражения и лишние эпитеты.
Ассоциативный промпт:
Вазы, Силуэт, Гладкость, Восток
Выбираем визуальный промпт
В качестве визуального промпта, выбраны не фотографии, не рендеры, а работы самого художника. Интересно проверить, как нейросеть интерпретирует АВТОРСКИЕ работы АВТОРА промпта.
Важный момент - это степень соответствия между промптом и изображением. Здесь важно найти такое соотношение промпт - картинка, чтобы программа не копировала исходник, но в тоже время не уходила в свободны поиск, когда связь с исходным изображением потеряна. Алгоритм работы нейросети достаточно сложный и в каждом случае соотношение надо подбирать индивидуально. В программе KREA компромис достигается в пределах 60-70 процентов “давления” промпта на исходное изображение.
Первые результаты
Вот несколько интересных результатов. Прямого соответствия картине нет, но стиль, цветовая гамма, характер графики в рендерах прослеживается. Нейросеть честно пытается выразить “восточный силуэт в гладких вазах”, или нарисовать “восточную вазу с гладким силуэтом”. Первый рендер выдает более объемное, реалистичное изображение, второе более условно и абстрактно.
Дальнейшие поиски
Мы продолжили эксперимент с самой сложной картиной для нейросети, с женскийм портретом. Эта картина является прямой противоположностью запроса. В картине нет ни силуэта, ни одной гладкой детали. Это не предмет, а человеческое лицо. Найти восточные черты в портрете можно, но с большой натяжкой. Короче, мы не оставили нейросети ни каких шансов, ни каких зацепок.
Первая генерация предсказуема и мало утешительна. Программа делает ремикс исходной картинки. Возможно интересно, но не для нашего эксперимента. Визуальный промпт явно перевешивает словесный запрос. Надо найти пороговое значение промпт-картинка, когда они работают равнозначно.
Теперь образ портрета превратился в вазу. Любопытно, но опять слишком предсказуемо. Портрет практически наклеен на вазу странной формы.
Еще один шаг. И результат уже интереснее. По крайней мере мы видим изображение, которое по стилю и колориту связано с портретом, но изображает вазы. Вопрос, насколько они гладкие и восточные?
В рамах установленного равновесия промпт-картинка мы будем просить неросеть генерировать варианты. За вариативность отвечает параметр Seed. Он выражается девятизначным числом, которое при каждой генерации подбирается рандомно. Вдумайтесь, СТО МИЛЛИОНОВ! Все варианты нам не перебрать. В данном посте мы показываем наиболее интересные с нашей точки зрения.
Теперь программа посадила женщину (образ портрета) в вазу.
Уже интереснее, но нас это тоже не совсем устраивает.
Требуем новых вариантов.
Кажется, мы выпустили Джина из бутылки.
Джин вначале бесновался, но потом успокоился и принял образ восточной красавицы, что для Джинов является паттерным поведением :)
Следующая серия силуэтов ваз и образов востока даем без комментариев. Каждая из картинок по своему связана с исходным изображением, образ женщины на портрете в разной степени присутствует во всех композициях.
И даже такое решение.
Про футуристический дизайн в промпте ни чего не было сказано :)
Несколько ваз с оригинальными силуэтами, что-то от исходного образа на портрете в них присутствует. Или нет? Восток - дело тонкое.