Midjourney для создания игр. Мой опыт использования

Говорить о нейронных сетях сейчас круто и модно. Их можно критиковать, хвалить, демонизировать.

К рассуждениям на тему «Будущее работяг в эпоху AI» вернусь в другой раз. Сегодня хочется рассказать о своем опыте работы с такой прекрасной вещью как Midjourney.

Midjourney - нейронная сеть, создающая изображения из текстовых описаний. На данный момент находится в стадии открытого бета-тестирования.

Шаг первый. Концепция

При создании концепции игр я всегда стараюсь увидеть примерную, но ясную картину у себя в голове. Основные составляющие:

• Атмосфера
• Визуальный стиль
• Механики
• Музыка и звук
• Геймплейные составляющие

Ранее, при создании концепт - документа приходилось часами просиживать на Pinterest и искать арты, которые очень близки по задуманной атмосфере. Это позволяло заполнить раздел «Референсы». Именно обратившись к этому разделу команда могла построить для себя единое визуальное видение игры.

Теперь с использованием нейронных сетей можно за короткий промежуток времени сгенерировать черновые концепт - арт проекта, который был задуман. Именно это я и сделал.

Шаг второй. Promt - наш дар и проклятие

Для того, чтобы получить от Midjourney то, что вы придумали у себя в голове, нужно использовать Promt.

PROMT – это технология для машинного анализа текста человека. Ранее работающая на алгоритме RBMT, а теперь с использованием нейросетевого анализа сути и контекста.

С учетом того, что Midjourney очень гибко работает с текстом, ей можно давать разный формат запросов. Теги и контекстный запрос.

Изначально я работал с контекстным запросом и хотел получить арт приближенный к моей задумке.
Запрос был такого формата: «Темная ночь, на улице стоит подросток под фонарем. Яркий свет освещает героя, а на фоне виден темный монстр с светящимися, красными глазами»

Midjourney предложила 4 варианта на выбор:

Первый запрос без уточняющих тегов. Первый вариант точно попал в освещение и то, как может выглядеть герой. Четвертый вариант максимально близок к нужному виду монстра.

Я решил сфокусироваться на первом варианте и перешил к созданию его вариаций.

Шаг третий. Крутим винилы

После того как Midjourney выдает результат с четырьмя примерами, можно выбрать понравившиеся варианты, выгрузить их в высоком качестве или отметить варианты, которые понравились и попросить нейронную сеть сделать на их основе вариации. Именно это я и сделал.

Я выбрал первый вариант и попросил сделать более туманное окружение, а монстра больше похожего на нечто из тени.

Как можно заметить, после добавления нескольких новых условий, первый вариант из прошлой картины стал более мрачным. В этой вариации мне понравился третий и четвертый арт.

Для третьего и четвертого арта я сделала запрос "Вариации" и получил крутую обложку игры и атмосферный концепт-арт. Вот результаты:

Готова полноценная обложка для игры. Видно героя и злодея на фоне

Итог

• За два часа экспериментов я получил множество вариантов в разных визуальных стилей, которые можно использовать для создания игры.
• Их можно показывать команде и проводить наглядный питч инвестору или издателю.
• Очень быстро проверил гипотезу и нашел варианты, которые реально цепляют.
• Такие работы можно отдавать художнику на доработку и он сразу начнет работу в установленном визуальном стиле.
• К сожалению у нейронных сетей есть минусы. Руки, глаза, текст и целостность объектов могут теряться и нужно вручную перерисовывать мелкие детали.

Бонус

Вот наглядный пример красивых артов с детализированными персонажами. Как раз тут можно увидеть явную проблему с отрисовкой форм рук и пальцев.

Шесть пальцев на руке, которая на чайнике