Новое исследование Intel Labs подробно описывает метод под названием Free View Synthesis, который может полностью изменить игровой ландшафт.
Если я говорю «хорошая графика», вы, вероятно, представляете себе последнюю 3D игру с текстурами высокого разрешения и трассировкой лучей. Если я скажу «фотореалистично», вы, вероятно, подумаете о чем-то похожем, но с особым вниманием к сходству между графикой и реальным миром. Тем не менее, новое исследование Intel Labs показывает нам, что должно означать фотореалистичность, и предлагает несколько захватывающих приложений для разработки игр, особенно в VR.
Этот новый метод называется синтезом свободного просмотра. Он позволяет вам брать некоторые исходные изображения из окружающей среды (например, из видео, записанного во время прогулки по лесу), а затем реконструировать и визуализировать окружающую среду, изображенную на этих изображениях, в полном «фотореалистичном» 3D. Затем вы можете иметь «целевой вид» (то есть виртуальную камеру или перспективу, как у игрока в видеоигре) свободно перемещаться по этой среде, создавая новые фотореалистичные виды. Это исследование будет представлено онлайн на ECCV 20 (с 23 по 28 августа), если хотите узнать о нем больше, обязательно подключайтесь!
Долгосрочные последствия этой техники для разработки игр должны быть очевидны. Теоретически, имея изображения реального места для рисования, он должен иметь возможность автоматически создавать проходимую игровую среду, которая не только идентична как по макету, так и по содержанию и по внешнему виду . Быстрый и легкий дизайн уровней, сравнимый с реальностью с точки зрения визуальной точности.
Мы поговорили об этой новой методике с Владеном Колтуном, главным научным сотрудником по интеллектуальным системам Intel Labs. У него много приложений, но, в частности, что касается игр, Владен говорит, что «он может создавать игры, неотличимые от реальности».
Для более подробного ознакомления с тем, как это делается, вы можете прочитать полную исследовательскую статью Free View Synthesis [PDF], но, по сути, среда, взятая из исходных изображений, реконструируется с использованием Structure From Motion (SfM) и Multi-View Stereo. (MVS) для создания прокси-карты глубины, когда целевое представление имеет функции, перепроецированные и обработанные «через сверточную сеть» для синтеза нового представления. Вкратце: возьмите исходное изображение, создайте среду «карты глубины» из этих изображений, а затем используйте сверточную сеть для синтеза нового представления в этой среде.
https://www.youtube.com/watch?time_continue=377&v=JDJPn3ZtfZs&feature=emb_logo
«Есть некоторые геометрические вычисления, с которыми вы можете столкнуться в классических графических конвейерах, а затем пройти через сверточную сеть, как вы могли бы видеть в стандартном глубоком сетевом выводе». Итак, у нас есть глубокое обучение, которое ставится перед задачей создания фотореалистичных видов в реалистичных сценах с использованием только ограниченного количества исходных изображений (сделанных свободно в окружающей среде) для справки.
На видео выше показаны другие методы, которые пытаются сделать то же самое, в том числе NPBG, метод, «опубликованный одновременно на той же конференции», который «возник независимо» из другой исследовательской лаборатории и имеет много общего с Free View Synthesis. Однако, как вы можете видеть на видео, Free View Synthesis дает немного лучшие результаты.
Использование SfM и MVS очень важно для Free View Synthesis, говорит нам Владен, и «многие другие методы не используют SfM / MVS в той степени, в которой мы». Исследователи считают, что «было бы расточительно просто отметать весь тот поразительный прогресс, который был достигнут (и продолжает происходить) в SfM / MVS. Скорее, мы должны строить на нем. Высокий уровень точности, достигнутый нашим подходом, в значительной степени объясняется тридцатилетним прогрессом в области SfM / MVS ».
Изображение взято из видео выше, показывающее представление среды, созданное Free View Synthesis.
Теоретически, используя Free View Synthesis, разработчик игры мог бы записать видео о прогулке по местному пустынному парку, перебросить изображения из этого видео в конвейер Free View Synthesis и иметь возможность перемещать виртуальную камеру через 3D реконструкцию парка, выбирая любой маршрут движения по своему желанию. Экстраполируйте из этого последствия для игр, и у вас есть методика, позволяющая легко и быстро создавать фотореалистичные среды виртуальной реальности, в которых может ходить игрок. И хотя «текущая реализация не оптимизирована для работы в реальном времени ... нет принципиальных препятствий на пути к тому, чтобы делать это в режиме реального времени ».
Для Free View Synthesis требуется возможность глубокого обучения графики, но это не должно быть проблемой, учитывая, что последние графические процессоры Nvidia имеют такую возможность (например, для DLSS), и AMD вскоре должна последовать их примеру. Но настоящая проблема - по крайней мере, для игр - это создание новых синтетических элементов в сценах. Гулять по фотореалистичному парку - это все, что вам нужно, но чтобы создать игру, вам нужно иметь возможность взаимодействовать с окружающей средой или, по крайней мере, вводить в нее другие элементы (например, оружие для игры FPS).
Изображение взято из видео выше, показывающее представление среды, созданное Free View Synthesis.
Как этот метод может справиться с подобными проблемами, говорит Владен, «это открытый вопрос». Другими словами, на него еще не ответили - это не значит, что не будет. «В его нынешнем виде подход обрабатывает только статические сцены. Это позволяет вам свободно перемещать точку обзора через статичную сцену, сохраняя при этом фотографический вид. В конце концов, такие методы будут распространены на динамические сцены с движущимися объектами, но мы еще не достигли этого. Это активная тема для исследований ».
Вероятно, поэтому техника для игр «не будет доступна сразу» - «даже в ближайшие пару лет, а со временем». Но это очаровательный взгляд на то, что может произойти.
