Применение метода ассоциативного промпта для иллюстрирования в нейросетях. Технология image to image на основе авторского рисунка.
Существуют различные подходы к иллюстрированию литературных произведений. Традиционный подход предполагает, что иллюстратор выбирает в произведении ключевые эпизоды и интерпретирует их содержание, как бы переводит литературный язык на язык графический. И чем точнее этот перевод, чем ближе иллюстрация к тексту оригинала, тем лучше. Иллюстратору позволяется лишь немного домыслить детали рисунка, о которых нет упоминания в тексте, и представить образы героев, согласно своим эстетическим взглядам.
Картинку непременно сопровождала подпись, которая цитировала текст. Например: “Татьяна вошла в комнату, где было много гостей”. Традиционный способ иллюстрирования прослужил читателям столетия, вплоть до начала 20 века. Хотя, уже в середине 19 века авторы выступали против вмешательства грубой иллюстрации в тонкий образный мир литературного произведения. Александр Пушкин жаловался, что иллюстрация разрушает поэтический образ, который был с таким трудом был создан поэтом. И это действительно так. Реалистичное изображение событий и портреты героев не передают, а разрушают ассоциативный ряд стихотворного произведения. И чем дальше литература в своем развитии уходила от простого описания событий, тем меньше стиль “описательной” иллюстрации оправдывал свое существование. Иллюстрировать в классическом стиле стихи дадаистов мне и вовсе не представляется возможным. Когда сюжетная линия отходит на второй план и главным становятся философские рассуждения автора, когда внутренний мир героя, его переживания, эмоции главнее места действия, классическая иллюстрация не только бессильна, но и вредна! Авторы многократно восставали против иллюстраторов.
Для примера возьмем новеллу Франца Кавки “Превращение”. О чем эта новелла, О превращении человека в насекомое? Конечно же нет. Описанное в первых строках событие, всего лишь повод, декорация или ширма, за которой прячется истинный смысл произведения. Произведение Кафки - это рассказ о трансформации людских характеров, о расчеловечивании их внутреннего мира. Кафка не поясняет, почему главный герой превратился в насекомое, не конкретизирует каким именно насекомым стал Грегор Замза. В письме издателю Кафка просил не рисовать насекомых на обложке книги – пусть воображение читателей дорисует детали. На самой ранней иллюстрации к новелле "Превращение" (издатель Kurt Wolff) на обложке изображена только дверь в комнату и стоящий рядом пораженный ужасом человек. Читатель не знает, что происходит за дверью, что привело персонажа на обложке в ужас, обложка интригует читателя, но не дает подсказки. Только купив книгу, читатель узнает, что же произошло за таинственной дверью.
Произведения Кафки если и допускают иллюстрирование, то совершенно другое, не классическое, а ассоциативное. Этот стиль еще можно назвать параллельным иллюстрированием. Суть стиля заключается в том, что визуальный ряд иллюстраций создает собственное повествование. Это параллельный зрительный ряд дополняет, а не объясняет и не пересказывает литературное произведение. В историческом романе это может быть воссоздание эпохи, изображение архитектурных памятников, использование старинных гравюры, картин, прижизненных (а не вымышленные) портретов исторических деятелей. В современных произведениях возможно проведение параллелей между литературным стилем автора и изобразительным искусством. Например, роман Ремарка “На западном фронте без перемен” можно проиллюстрировать рисунками художника Отто Дикса, который бвл признан на фронт Первой Мировой. На основе личных переживаний военного времени художник создал цикл работ под названием “Война”. Рисунки Отто Дикса не изображают конкретных сцен романа, но, как и все произведение Ремарка, пропитаны антивоенным духом и несут образы безумия войны.
Очень часто литературное произведение не иллюстрируется, в тексте нет места картинкам. Но книга всегда имеет обложку. Обложка ПРОДАЕТ книгу. Обложка должна привлечь внимание и сориентировать покупателя в выборе книги. И здесь иллюстраторы применяют метод ассоциативного иллюстрирования. Картинка на обложке должна выразить суть всего произведения, а не просто изобразить отдельный эпизод. Большинство книжных обложек иллюстрируют именно произведение в целом.
Метод параллельного иллюстрирования является хорошей проверкой работы нейросетей
Я дал нейросети Playgroundai задачу нарисовать иллюстрацию к новелле Кафки “Превращение”. На начальном этапе я не просил нейросеть изобразить что-то конкретное. Я экспериментировал с конструкцией промпта и подбирал различные “модели” и “фильтры” для генерации изображения. Большая часть изображений на этом этапе отсеивается, поскольку в них страдает графическое исполнение, или отсутствует какая бы то ни было идея. Вдруг, среди прочих решений возникло одно интересное: главный герой изображен человеком, но находится в окружении насекомых. Я подумал, что именно этот сюжет это может стать интересной трактовкой произведения Кафки. Ведь если окружающие видят главного героя НАСЕКОМЫМ, то и его восприятие мира должно изменится. Он, оставаясь внутри себя человеком, видит окружающих как НАСЕКОМЫХ. Прямого намека на это в рассказе Кафки нет, но некоторые факты “расчеловечивания” домочадцев присутствуют.
Следующим этапом работы стало развитие выбранной темы. Объяснить нейросети концепцию иллюстрации пока еще технически не возможно. Нейросеть рисует только конкретные предметы или действия. Хорошим выходом в данной ситуации является использование графического промпта. Я нарисовал примерный эскиз композиции, и не объясняя ни чего конкретно, снова дал нейросети задание нарисовать иллюстрацию к новелле “Превращение”.
Секрет такого метода взаимодействия с нейросетью заключается в том, что текстовая подсказка не должна описывать, расшифровывать картинку-подсказку. Нейросеть сама умеет понимать содержание картинок, и не только их сюжет, но и манеру рисования, цветовую гамму, композиционное решение. И вот когда стиль и сюжет картинки-подсказки накладывается на содержание словесного промпта, тогда и получаются необычные результаты. Нейросеть выступает не исполнителем команд, а соавтором творческого процесса. Не следует забывать, что на результат влияют еще многие параметры рендера. По этому, даже при копировании промпта, “сита” и других параметров, вы не получите точной копии понравившейся вам композиции. Всегда будет хотя бы небольшое отличие.
Вот что получилось.
Иллюстрации не претендуют на точную трактовку образов Кафки, но выражают суть произведения. И что еще важно, иллюстрации передают настроение присущее произведениям Кафки: мрачное, абсурдное, неправдоподобное. Как сон, который ни как не кончается и снится наяву.
В оформлении обложек использована графическая тема прижизненного издания произведения Кафки. Литературный журнал Die weissen Blätter (Белые листья) 1915 год.
Использование разных моделей при генерации изображения по одному и тому же промпту дают совершенно разные результаты.
Сгенерированные иллюстрации не были обработаны в фото редакторе. Единственная доработка заключалась в том, что картинки были дополнены типографикой. К сожалению пока еще нейросети плохо справляются с буквами. Кроме того, по правилам подготовки файлов в печать, растровые (фотографические) элементы оформления подаются отдельно от векторных (шрифтовых) элементов. По этому вся типографика в данных примерах - это дизайнерских рук дело. Нейросети принадлежат только картинки. Для большей наглядности оформление обложек представлено на “мокапах”, которые имитируют объем книги.
Prompt:
Illustration for Kafka's short story The Transfiguration, Linocut, black and white, delicate touch, in the style of the illustrator Hans Bellmer, professional ominous concept art, by artgerm and Greg Rutkowski, an intricate, elegant, highly detailed digital painting, concept art, smooth, sharp focus, illustration, in the style of Simon Stalenhag, Wayne Barlowe, and Igor Kieryluk.
Sampler: DPM2 a
Model: Stable Diffusion XL
Model: Playground v1