Разработчики Facebook создали нейросеть, которая превращает человека в игрового персонажа. Новый алгоритм называется Vid2Play, и он позволяет загрузить в ИИ собственную фотографию (или чью угодно еще) и управлять героем, как в популярных в восьмидесятые играх FMV.
В свободное от слежки за людьми время Facebook занимается другими не менее интересными вещами. Одной из последних разработок компании стал алгоритм Vid2Play. В чем суть? ИИ берет человека из видео и проецирует его действия на фотографию любого выбранного героя — будь то вы сами или ваш любимый актер. Кажется, это первая ступенька к максимально персонализированному геймингу.
Основа Vid2Play — две нейросети, которые работают по очереди. Первая — Pose2Pose — анализирует действия героя из видеозаписи, определяет его позы, тени и движения. Затем фигура человека отделяется от фона, и в дело вступает вторая нейросеть — Pose2Frame. Она берет вырезанную фигуру (вместе со всем, что та держит в руках) и вставляет ее в новую сцену, при этом накладывая на фигуру ваше (или любое другое) лицо.
Пользователь также может выбрать декорации, а еще управлять человечком, как персонажем в игре. Для этого можно использовать джойстик или клавиатуру. Правда, не стоит забывать, что герой в ролике сможет выполнять только те действия, которые были в изначальной видеозаписи. Все технические детали процесса опубликованы в статье о проекте на сайте Корнеллского университета.
Также создатели сделали демонстрационный ролик о Vid2Play на примере игры в теннис:
Создатели Vid2Play верят, что их разработка — начало новой эры гейминга. В заключении статьи исследователи написали, что возможность использовать себя или любимых знаменитостей в качестве протагонистов игр станет для геймеров совершенно новым опытом.
Понравился материал? Ставьте лайки и подписывайтесь на канал Screenlifer Media. У нас интересно!
