Модель от Google DeepMind — Genie — использует текстовый промпт и нарисованный от руки эскиз или фотографию для создания классических 2D-игр вроде Super Mario Bros. Означает ли это, что геймдизайнеры останутся без работы или индустрия геймдева станет доступной даже для тех, кто не имеет опыта и образования? Разобрались, как устроены модели text2game.
Как устроена Genie
Genie обучили на 30 000 часах видео с 2D-играми. Модель анализировала, как положение персонажа на экране зависит от действий игрока, и на основе этого создавала последовательность кадров, которые складываются в уровни. Главный минус: игра генерируется со скоростью один кадр в секунду (у современных игр этот параметр — 30–60 кадров в секунду).
GameGAN
NVIDIA тоже использовала видеоданные для обучения AI-модели GameGAN. Но к ним разработчики добавили информацию о нажатых во время игры кнопках. Однако такое наложение тегов на видеокадры требует больших затрат, а это ограничивает возможный объем данных для обучения. Тем не менее, у GameGAN хорошо получаются простые игры вроде Pac-Man.
Обе модели — Genie и GameGAN — исследовательские проекты. У обычных пользователей нет возможности их протестировать.
Astrocade AI — генератор игр
Astrocade AI — это стартап (поддерживается фондом NVIDIA), развивающий мобильное приложение для генерации игр с помощью простых текстовых запросов. Достаточно ввести команду, например, «сгенерировать платформер с персонажем, который прыгает», и AI создаст все необходимые элементы игры. Затем ее можно отредактировать с помощью нового промпта, например, «хочу, чтобы костюм персонажа был красного цвета, и чтобы во время прыжка он совершал кувырок».
Astrocade AI — это еще и сообщество: готовую игру можно опубликовать в открытом доступе, чтобы другие пользователи могли протестировать ее или доработать. Посмотрите скриншоты из разработок первых пользователей приложения ⤴️
❗️ Интересный факт: должность директора по стратегическому развитию в компании занимает Фей-Фей Ли, «крестная» AI.