Всегда было интересно, как выглядели бы персонажи известных произведений, если бы какой-нибудь художник взялся их проиллюстрировать. Нет, серьезно. Вот есть прекрасный аудиоспектакль «Алиса в стране чудес». Какими представляли себе персонажей Владимир Высоцкий, Всеволод Абдулов, Клара Румянова и другие актеры, когда работали над спектаклем? Жаль, этого нам уже не узнать. Обычные же художники тоже как-то не очень стремятся создавать рисунки к тому, что продать будет невозможно (ребята, я вас понимаю!), и как же визуализировать текст? Вот появились нейросети. Им почти безразлично, что рисовать. Удача! Мы сможем увидеть, как кто-то другой визуализирует известного тебе персонажа.
Немного почитал правила работы с нейросетями, огорчился существующими ограничениями, но решил попробовать. На полуторачасовой спектакль меня не хватит, конечно — тем более, что я ничего не знаю и не умею. В качестве пробы пера сгенерировал четыре картины известных художников исключительно по названию произведений. Получилось прикольно, и тогда я решил попробовать чуть-чуть визуализировать песню Геннадия Самойлова «Эстонская Красная Шапочка». Выбрал именно ее, поскольку это была единственная песня с вертикальным кадром, и я сразу придумал сдвинуть видео вправо, а на оставшемся участке располагать рисунки нейросети.
Начал с карты Эстонии, чтобы пристреляться. Вроде, легло нормально (да так и осталось там), затем по ритму песни надо было бы сменить кадр на нечто, содержащее июль («В месяце июле»). Не придумал ничего лучше, как временно сделать скриншот из Википедии, который тоже так и остался в иллюстрациях. Не представляю, что ИИ мог бы нарисовать по запросу «июль». На этом я решил, что хватит уже пристреливаться и пора переходить к составлению задач для Midjourney.
Далее я двигался практически по тексту песни, но при составлении задания всегда указывал уточняющие элементы для ИИ (уверен, они были бесполезны). Так, например, по тексту песни «Шла по лесу девочка, звали ее Юлли», в запросе: «по летнему лесу идет эстонская девочка по имени Юлли, на голове девочки красная бейсболка, девочка несет старый чемодан».
Получаем такой результат:
Делаем уточнение, что чемодан должен быть в руке.
В куплете «Мама утром испекла пирожки на сале», пишем в запросе: «эстонская мама рано утром в частном доме испекла много пирожков на свином сале». Результат:
Исправляем запрос, добавляем, что мама должна быть молодой.
А вот эстонская бабушка Саала, которая живет одна далеко в лесу:
Пришлось уточнить запрос, сообщив нейросети, что бабушка вполне молода и дееспособна. Результат попал в видео. Правда, я забыл сказать ИИ, что мне нужна эстонская бабушка летом, поэтому в кадре зима. Было бы здорово соорудить из рисунка бабушки портрет в рамке и поставить его в домике Красной Шапочки, но уж очень мало попыток дается для игр с Midjourney.
С немецкой группой Рамштайн не стал запариваться, просто включил несколько секунд из какого-то клипа, который (на мой взгляд) мог бы понравиться Красной Шапочке.
С городом Тарту тоже не стал мудрить и просто использовал реальную фотографию города, так же впоследствии поступил и с иллюстрацией того, что Серый Волк был специалистом по эстонской кухне.
С рисунками Волка вообще ничего не делал, нейросеть охотно с первого раза рисовала мне именно то, что я хотел увидеть. Даже лучше. Самая большая проблема — выбрать один рисунок из четырех, все очень хорошие.
Сдвинув брови на лице, развернув бейсболку,
Юлли голосом «Рамштайна» отвечала волку
Ни-фи-га! Как я ни пытался, нейросеть не хотела мне рисовать девочку Юлли летом в лесу в красной бейсболке, надетой козырьком назад. Максимум, это девочка в бейсболке с тремя козырьками, смотрящими в разные стороны. Пришлось согласиться на портрет Юлли до того, как она разворачивает бейсболку.
Что же в итоге?
А в итоге появилось вот такое видео:
Лично мне результат мне понравился, отправил его автору песни, Геннадий инициативу одобрил и разместил видео на своем канале. Основные косяки я увидел лишь после того, как видео было опубликовано. В первую очередь речь идет о том, что у меня постоянно скачет размер левого кадра: периодически я забывал его указывать ключом - -ar [x:y]. Помимо этого, я в тот момент не успел толком разобраться с функциями опорного изображения, на основании которого ИИ может генерировать рисунки, поэтому у меня одно изображение Мамы не похоже на другое, а Юлли в основном изображена со спины.
Процесс генерации изображений под конкретный текст очень увлекательный. Может быть, когда нейросети переболеют своими детскими болезнями, мы увидим множество интересных иллюстраций к литературным произведениям.
Продолжение здесь: