Как создать персонажа онлайн 3D в полный рост через нейросеть

Нейросеть Inworld ai делает 3d модели по фотографии, а искусственный интеллект наделяет персонаж разумом. Сервис станет незаменимым помощником для разработки игр, он ускорит процесс прорисовки всех деталей и позволит интегрировать готовый объект прямо в игровой движок.

В этой статье мы подробно опишем, как создать персонажа онлайн 3д в полный рост.

Есть много ресурсов генерирующих картинки по описанию, но редко найдешь достойное решение для 3D. Отличительная особенность Inworld в том, что нет надобности составлять prompt. Весь процесс генерации персонажа происходит из нескольких шагов.

1. Найти картинку хорошего качества. Сойдет портрет человека, до плеч.
2. Придумать биографию. Это совсем не обязательно, но это поможет нейронке обучаться и составлять диалоги, что важно при общении с игроком. Разумеется, если вы хотите получить разумного персонажа.
3. Внешний вид – обычно ИИ создает примитивный образ, но с помощью редактора можно поменять одежду, прическу. В общем, сделать полную кастомизацию. Представьте себе игру Sims последнюю часть, где при создании Сима настраивается внешний вид. Здесь то же самое, только в конце всех настроек пользователь получит готовую 3d-модель для внедрения в игровой проект.
4. Скачивание – выбор не велик, только формат glb. Это расширение поддерживает встроенные текстуры, поэтому не стоит беспокоиться, как сделать текстурирование персонажа. Нейронка позаботится и об этом.

Обзор Inworld AI

Сервис на основе искусственного интеллекта Inworld AI предлагает бесплатное использование. Для доступа требуется регистрация. Создать аккаунт в нейросети можно тремя способами: Google, Microsoft или указать почтовый ящик.

Перечислим основные инструменты сервиса.

• Characters – панель для создания персонажа. Имеются готовые шаблоны. Опции дают возможность придумать сюжет и настроить характер NPC (Неигровой персонаж).
• Common Knowledge – общие знания. История, традиции, важные события. Всеми известные факты, которые знает любой неигровой персонаж. При разговоре информация будет всплывать в ответах. Чтобы добавить новые факты, нужно перейти в раздел, нажать кнопку «Create new common knowledge» и заполнить поля «Name», «Description» и «Facts and information», потом нажать «Save». Это еще не все, нужно выбрать, кто из персонажей будет владеть информацией. Переходим в Knowledge, находим из списка свою запись, нажимаем карандаш. Внизу пунктирная рамка с плюсом, щелкаем. Появляется всплывающее окно «Add character». Выбираем персонаж, и нажимаем «Save And Train».
• Scenes – это окружающий мир NPC. Сцена требуется для интеграции в игровой движок. При создании нужно заполнить форму. Добавить «Name», «Description», «Characters», для которого будет применяться сцена и триггер. Triggers – событие, которое происходит в окружающей среде, например «землетрясение». Для создания нового действия нужно нажать «Create new trigger».
• Interactions – диалог с персонажем доступен через чат. Это дает возможность протестировать, как обучается нейронная сеть. Сможет ли она ответить правильно на вопросы? Все ответы должны быть зафиксированы и занесены в таблицу. Для этого предусмотрена вкладка «Interactions». Здесь заносятся имя, дата, время диалога и количество сообщений.

Как сделать 3D модель онлайн

Чтобы получился интересный персонаж, нужно придумать увлекательную историю. На это потребуется время, поэтому для примера воспользуемся сюжетом из одной старой игры, только слегка изменим сценарий.

Сюжетная линия

«История развивается вокруг трех персонажей: профессор, ассистент и робот-андроид. Ученый был не признан своими коллегами и отправился в космос, чтобы заниматься наукой вдали от всех. На землю нападают пришельцы, профессор использует гениальный ум, чтобы противостоять захватчикам».

Нужно составить биографию деятеля науки. Допустим, год рождения 2042, а события происходят в 2095. Следует уточнить данные «хобби и увлечения», «характер героя» и какими специальными навыками он владеет. Создадим character. Щелкнем по кнопке.

Заполним поля. Текстовое описание делаем на английском, это касается и данных в настройках. Если с этим проблемы, используем Гугл-переводчик. Для понимания покажем в двух вариантах.

На русском:

На английском. Заполнить поля и нажать «Create», чтобы создать шаблон модели.

В настройках две вкладки - «Basic» и «Advanced».

Для начала отредактируем «Basic». Три поля: Flaws – “Недостатки”, Motivations – “Мотивация” и Example Dialogue – “Примеры диалогов”. Что мотивирует героя? Пишем о целях. Какими недостатками обладает персонаж? Перечисляем через запятую. Все это нужно заполнить в соответствующих полях.

Пример:

Опции в блоке нейросети «Dialogue style» оставляем по умолчанию, добавим только диалог. Ниже описание на русском и перевод текста, который следует добавить.

После всех изменений жмем «Save». Переходим во вкладку «Advanced» и изменим Character traits. Указываем таланты персонажа, например «дальновидное мышление, изобретательность, гений». Каждое слово следует добавлять по отдельности и отделять запятой, чтобы они преобразовались в теги.

Характер героя - это две колонки и десять параметров. Редактируются они с помощью ползунка. С каждой стороны находиться одна из характеристик. Очень точно можно передать печаль – радость достаточно передвинуть ползунок. Список всех параметров в таблице:

Используя таблицу, настроим Mood и Personality.

Knowledge – знания, которыми обладает герой. Например. «{character} физика, математика и электроника. Создание роботов, бластеров и компьютеров».

Слово в фигурных скобках ключевое, оно ставится вначале предложения. Под текстовым полем есть “общие знания”. Добавляются кнопкой «Add common knowledge». Здесь расширяем кругозор героя «чекбоксами».

Настройка «Advanced» завершена. Чтобы изменения вступили в силу, нажимаем «Save» и переходим к редактированию деталей.

В Edit Details нужно настроить несколько опций.

1. Pronouns “Местоимение” – he/him/his.
2. Stage of life “Этап жизни” - Late adulthood.
3. Role – влияет на общий характер персонажа. Добавим роль «Inventor and Electrical Engineer».
4. Hobbies and interests “Хобби и интересы” – вставим «Invent different devices, do experiments in the laboratory, read». Пишите по отдельности, в конце каждого тега ставите запятую, чтобы создать список. Пункт будет использоваться в том случае, если при общении с ИИ вы затронете тему интересов.
5. Wikipedia Link – если прототипом является исторической личностью, то ставим ссылку. В нашем случае оставляем поле пустым.

Сохраняем изменения.

Будет интересно: 6 лучших сервисов на основе нейросетей для создания тату эскизов

Портрет персонажа

Картинку придется загружать в два подхода, один раз для аватара, второй – для 3D модели. Фото можно скачать из поисковика или на фотостоках, но мы пойдем другим путем.

Что известно?

Год рождения и дата, когда происходят события. Из этого следует, что главному герой 53 года. Значит, портрет мужчины должен соответствовать своему возрасту. Получить такую картинку через поисковик сложно. Поэтому воспользуемся Playground AI. Это нейронная сеть для генерации картинок.

Войти в Playground можно через Google Аккаунт. В панели сделаем настройки:

• Model “Stable Diffusion XL”.
• Filter “Realistic Stock Photo”.
• Image Demensions “512x512”.

Составляем prompt:

«Professional photographic portrait of a 50 year old man wearing glasses, thinker mode, Ultra realistic HD 4k, perfect composition, soft natural volumetric cinematic perfect light, detailed face, detailed eyes, look realistic, half body shot, detailed art, detailed draw, detailedgenerate, detailed object, solid background, unique, Full HD, 8k resolition, ultrarealistic, high quality».

Нажимаем «Generate», в итоге получается такое фото:

Наводим мышкой на сгенерированное изображение Action-> Download и скачиваем. Загрузим аватарку в Inworld AI. Откроем Edit.

Вкладка Avatar Image – загружаем drag and drop или upload.

Создание 3D моделей людей онлайн – накладывание текстур

Как перевести фото в 3D модель онлайн с помощью нейросети? Переходим во вкладку «3D Avatar» и ждем загрузки. По завершению переключаем тумблер.

Для загрузки редактора кликните «Configure 3D avatar».

Генератор внешности персонажей добавил очки и бороду. Как на картинке нейросеть смогла воссоздать образ ученого. Единственное замечание - человек выглядит моложе своих лет.

Если вариант не устраивает, то запустите повторную генерацию через «choose file». Выберите фото, и ждите, когда model сгенерируется заново. Повторная процедура мало, что дает и приходиться вручную редактировать model.

Для кастомизации есть большой список предметов. Можно сменить гардероб, примерить новую одежду, шляпу, маску или очки. Изменить внешний облик: черты лица, прическу, цвет волос.

Когда закончим делать изменения, нажимаем “Далее”— “Next”.

Профессор будет создан, предлагается скачать модель в формате glb «Download». Прежде чем продолжить, сохраняемся.

Распространенная проблема при генерации изображения - лишние пальцы. В Inworld тоже есть свой недостаток. Если картинка крупная и сильно обрезана, с большой вероятностью нейросеть выдаст model по умолчанию без каких либо совпадений.

Отдельно хотелось бы отметить, что Inworld AI умеет генерировать в качестве 3D персонажей только мужчину и женщину. Поэтому сервис подойдет исключительно для создания детективных историй, где нужно расследовать преступления. Монстров, роботов придется создавать с нуля в редакторе.

Тестирование диалогов

Придумали сюжет, сгенерировали аватар и создали 3d-модель. Переходим к тестированию диалогов. Будем задавать вопросы и смотреть какие ответы выдает нейросеть. Откроем чат.

• «Tell me a story». Любопытный результат, портал упоминается один раз в диалогах, но генератор историй персонажа проявил фантазию и рассказал о приключениях ученого.

• «What's your hobby?». Профессор рассказал про свое любимое занятие. В разговоре подчеркнул, что хобби – это его работа.
• «Do you have assistants who help with the research?». Здесь спросили про ассистента и получили ожидаемый ответ. Деятелю науки помогают два помощника лаборант – уборщик и андроид, который является чудом техники.

При общении ИИ выдает осмысленные ответы и даже поддерживает разговор, задавая встречные вопросы. Подымая тему хобби, AI может поинтересоваться, чем занимается пользователь, это дает уникальные ветки диалогов. Возможно, скоро искусственный интеллект сможет генерировать сценарий игры вместе с диалогами и заданиями.

Чем открыть glb?

Формат glb – это файл, в котором хранится сама Model и текстуры к ней. Открыть ее можно тремя способами.

1. Онлайн-редактор – в интернете есть ресурсы, которые поддерживают открытие и редактирования 3D, включая glb-файл.
2. Blender позволяет просматривать 3Д. Чтобы открыть glb, нужно перейти Файл => импортировать => glTF 2.9 (.glb .gltf). Если такого расширения нет, посмотрите в разделе аддоны. Для быстрого поиска воспользуйтесь строкой.
3. Threejs и GLTFLoader.js – позволяют загружать модели прямо в браузере. Чтобы использовать библиотеки js на практике, нужно знать язык JavaScript. Пример загрузки на скриншоте ниже. Для создания движения нужно сделать интеграцию в один из игровых движков или применить специальную программу для анимации.

Тарифы и ограничения

В нейросети Inworld AI можно создавать сколько угодно людей и скачивать на компьютер, лимиты накладываются на количество интеграций. Чтобы снять ограничения, нужно перейти на новый тарифный план. Какие условия перехода – неизвестно. Подробности при личном общении с техподдержкой.

При расширении аккаунта пользователь получает больше 5 000 интеграций и улучшенную поддержку.

Подведем итоги

Раньше приходилось тратить много времени на моделирование людей, сейчас создать персонажа онлайн 3д в полный рост можно в “пару кликов” с помощью специальных сервисов на основе нейросетей. При смене внешнего вида можно получить другого персонажа, а генератор историй придумает новые диалоги, из-за этого игровая механика станет более интересной.

При интеграции в движок, например, Unity добавляется анимация, и объект становится как живой.

Читайте также: ТОП-15 лучших нейросетей для создания сайта

Источник: Aff1.ru