В последние годы разработчики видеоигр и компьютерные ученые пытались разработать методы, которые могут сделать игровой процесс более захватывающим, увлекательным и реалистичным. К ним относятся методы автоматического создания персонажей видеоигр, вдохновленных реальными людьми.
Большинство существующих методов создания и настройки персонажей видеоигр требуют, чтобы игроки настраивали черты лица своего персонажа вручную, чтобы воссоздать свое собственное лицо или лица других людей. Совсем недавно некоторые разработчики попытались разработать методы, которые могут автоматически настраивать лицо персонажа, анализируя изображения лиц реальных людей. Однако эти методы не всегда эффективны и не всегда реалистично воспроизводят анализируемые лица.
Исследователи из Netease Fuxi AI Lab и Мичиганского университета недавно создали MeInGame, метод глубокого обучения, который может автоматически генерировать лица персонажей путем анализа одного портрета лица человека. Этот метод, представленный в статье, предварительно опубликованной на arXiv, может быть легко интегрирован в большинство существующих трехмерных видеоигр.
«Мы предлагаем метод автоматического создания лица персонажа, который предсказывает форму лица и текстуру на основе одного портрета и может быть интегрирован в большинство существующих трехмерных игр», - Цзянкэ Линь, И Юань и Чжэнся Цзоу, трое исследователей, которые проводили исследование, написали в своей газете.
Некоторые из систем автоматической настройки персонажей, представленные в предыдущих работах, основаны на вычислительных методах, известных как трехмерные морфируемые модели лица (3DMM). Хотя было обнаружено, что некоторые из этих методов воспроизводят черты лица человека с хорошим уровнем точности, способ, которым они представляют геометрические свойства и пространственные отношения (то есть топологию), часто отличается от сеток, используемых в большинстве трехмерных видеоигр.
Чтобы 3DMM могли надежно воспроизводить текстуру лица человека, их обычно необходимо обучать на больших наборах данных изображений и связанных данных текстуры. Компиляция этих наборов данных может занять довольно много времени. Более того, эти наборы данных не всегда содержат реальные изображения, собранные в естественных условиях, что может помешать обученным на них моделям стабильно работать при представлении новых данных. Чтобы преодолеть это ограничение, Линь, Юань и Цзоу тренировали свою технику на наборе данных изображений, сделанных в дикой природе.
«Учитывая исходную фотографию лица, мы сначала реконструируем трехмерное лицо на основе трехмерной морфируемой модели лица (3DMM) и сверточных нейронных сетей (CNN), а затем переносим форму трехмерного лица в шаблонную сетку», - пояснили исследователи в своей работе. бумага. «Предлагаемая сеть берет в качестве входных данных фотографию лица и развернутую грубую карту UV-текстуры, затем прогнозирует коэффициенты освещения и уточненные карты текстур».
Линь, Юань и Цзоу оценили свою технику глубокого обучения в серии экспериментов, сравнив качество созданных игровых персонажей с качеством лиц персонажей, созданных другими существующими современными методами автоматической настройки персонажей. Их метод работал замечательно, создавая лица персонажей, которые очень напоминали лица на входных изображениях.
«Предлагаемый метод не только создает подробных и ярких игровых персонажей, похожих на входной портрет, но также может устранить влияние освещения и затемнений», - написали исследователи в своей статье. «Эксперименты показывают, что наш метод превосходит современные методы, используемые в играх».
В будущем метод создания лиц персонажей, разработанный этой группой исследователей, может быть интегрирован в ряд трехмерных видеоигр, что позволит автоматически создавать персонажей, очень похожих на реальных людей. Код модели MeInGame и набор данных, используемый для ее обучения, были опубликованы в Интернете и доступны разработчикам игр по всему миру по адресу: github.com/FuxiCV/ MeInGame.