Рендеринг 3D-графики для новейших дисплеев с высоким разрешением никогда не была легкой задачей, и уровень сложности многократно возрастает для VR-гарнитур с двумя дисплеями с высокой частотой обновления. На днях исследователи Facebook раскрыли новую технологию для повышения качества рендеринга трехмерного контента в режиме реального времени, используя машинное обучение для мгновенного преобразования изображений с низким разрешением, с точки зрения вычислений, в очень близкое приближение к эталонным материалам с гораздо более высоким разрешением.
Самый простой способ понять инновации Facebook - это представить картину «Мона Лиза» в виде 16 цветных квадратов, таких как сетка 4×4. Человек, смотрящий на сетку, увидит ужасно рваное, квадратное изображение, возможно, отдаленно напоминающее знаменитые очертания Моны Лизы, но обученный компьютер сможет мгновенно определить сетку и заменить ее оригинальным произведением искусства. Используя трехслойные сверточные нейронные сети, исследователи Facebook разработали методику, которая работает не только для плоских изображений, но и для сцен с 3D-рендерингом, превращая «сильно наложенный вход» в «высокоточные и стабильные во времени результаты в режиме реального времени».
С вычислительной точки зрения, исследования показывают, что трехмерная среда, отображаемая так же, как и в оригинальной игре Doom, может быть увеличена, с предварительным обучением, до опыта виртуальной реальности, похожего на Quake. Это не означает, что любой разработчик сможет просто преобразовать примитивный 3D-движок в богатый мир виртуальной реальности, но скорее всего этот метод отлично подойдет для использования в VR-устройстве с ограниченным энергопотреблением - например, Oculus Quest - внутренне рендерить меньшее количество пикселей при отображении прекрасного результата, используя машинное обучение для достижения результатов, близких к эталонному качеству.
Несмотря на то, что специфика машинного обучения сложна, в результате сеть обучается с использованием изображений, снятых со 100 видеороликов данной 3D-сцены. Эти изображения позволяют создать эталонную сцену с полным разрешением, для которой требуется рендеринг 140,6 миллисекунд с разрешением 1600 на 900 пикселей, а не рендеринг за 26,4 миллисекунды при 400 на 225 пикселей, а затем повышение частоты дискретизации 4×4 за 17,68 миллисекунд, что в общей сложности составляет 44,08 миллисекунд - экономия времени рендеринга почти в 3,2 раза при очень близком приближении к исходному изображению.
Исследователи говорят, что их система значительно превосходит новейшую технологию масштабирования временного сглаживания в Unreal Engine (Unreal TAAU), предлагая гораздо более высокую точность восстановленных деталей. Они отмечают, что глубокая выборка супердискретизации Nvidia (DLSS) наиболее близка к их решению, но DLSS опирается на проприетарное программное обеспечение и/или аппаратное обеспечение, которое может быть недоступно на всех платформах. Facebook предполагает, что его решение не потребует специального аппаратного или программного обеспечения и может быть легко интегрировано в современные 3D-движки, используя их существующие входы для обеспечения суперсэмплинга 4×4 в то время, когда в обычных решениях используется не более 2×2.
Несмотря на все предварительные тренировки и стабильную во времени гладкость получаемых изображений, некоторые мелкие детали могут быть потеряны в процессе воспроизведения, так что текст может не читаться, если его присутствие не было правильно помечено в последних кадрах рендера с низким разрешением. Также остаются вопросы относительно затрат на внедрение «приложений с высоким разрешением дисплея», хотя ожидается, что увеличение производительности, оптимизация и профессиональное проектирование улучшат производительность системы в целом.