Модель ИИ Nvidia DLSS 5 использует глубокое понимание освещения окружения и того, как этот свет взаимодействует с различными материалами в сцене, чтобы кардинально улучшить внешний вид игр, и результаты могут быть как впечатляющими, так и жутковатыми. — tomshardware.com
Нейронный рендеринг — использование моделей ИИ для создания пикселей — уже стало привычным понятием в графике реального времени. Например, при использовании масштабирования DLSS или генерации кадров многие видимые вами пиксели уже сгенерированы, а не отрендерены нативно, и эти дополнительные пиксели и кадры достигаются при удивительно низкой вычислительной стоимости благодаря ускорению матричных вычислений тензорными ядрами Nvidia. Учитывая это почти магическое соотношение затрат и выгоды, неудивительно, что исследования активно ведутся в направлении расширения техник генеративного ИИ за пределы относительно прозрачных применений, таких как масштабирование и генерация кадров, с целью замены частей традиционного графического конвейера, каким мы его знаем сегодня, — и, возможно, даже его целиком.
Анонс DLSS 5 от Nvidia на GTC — поразительный показатель того, насколько близки мы к этому будущему. RT-ядра, дебютировавшие в архитектуре Turing почти восемь лет назад, привнесли в графику реального времени гораздо более реалистичные световые эффекты, однако нативное затенение даже части пикселей в кадре до голливудского лоска по-прежнему остается далеко за пределами возможностей современного графического оборудования. Даже RTX 5090 с мощностью 575 Вт и площадью кристалла ~750 мм² не справляется с этой задачей, а дальнейшее увеличение размеров чипов GPU и пределов энергопотребления в погоне за этим реалистичным идеалом лишь сделает их менее доступными. И учитывая вытеснение передовых производственных мощностей под нужды ИИ, появление графических процессоров следующего поколения для игр кажется все менее вероятным в ближайшее время.
DLSS 5 — самый яркий на сегодняшний день пример того, как нейронный рендеринг предлагает альтернативный путь развития по сравнению с грубым увеличением вычислительных ресурсов. Его модель ИИ обучена выводить, как должны выглядеть определенные сложные элементы игровых сцен, такие как персонажи, кожа, волосы и освещение окружения, в реальном мире, исходя из определенных входных данных от игрового движка (включая, но не ограничиваясь, буфером цвета и векторами движения) в сочетании с входным кадром.
Затем модель DLSS 5 использует эти входные данные и семантическое понимание частей сцены, чтобы приблизить их внешний вид к тому, как они могли бы выглядеть в реальности, при этом сохраняя художественный замысел, заложенный в окружении и моделях персонажей. Поскольку DLSS 5 глубоко связан с базовым игровым движком и ассетами, его вывод последователен и предсказуем, в отличие от итеративного рабочего процесса генерации изображений и видео с помощью ИИ, управляемого текстовыми запросами.
На GTC нам представилась возможность предварительно ознакомиться с DLSS 5 в пяти играх, и для современных игр с соответствующим набором ассетов DLSS 5, несомненно, улучшил качество изображения и детализацию в той небольшой группе тайтлов, которые мы видели. (Для группы сравнений высокого разрешения бок о бок, которые можно детально рассмотреть, ознакомьтесь со статьей Nvidia о запуске.)
Даже в играх, где уже есть эффекты трассировки лучей в реальном времени, таких как Hogwarts Legacy, включение и выключение DLSS 5 создает еще более убедительные световые эффекты как для окружения, так и для персонажей. Студенты Хогвартса, стоящие перед массивными залитыми солнцем окнами, отрисовываются с убедительной контурной подсветкой по краям их волос и одежды, которая отсутствует при выключенном DLSS 5. Улучшенная окклюзия окружения более точно затемняет каждую складку мантий студентов и каждый уголок, нишу и закоулок самого Хогвартса. Даже повседневные предметы, такие как диваны, выглядят лучше вписанными в сцены благодаря более точным теням под ними.
Я также недавно много времени уделил Assassin’s Creed Shadows, поскольку начал новый цикл бенчмаркинга для нашей Иерархии GPU, и это игра, где RT играет огромную роль в создании богатого и убедительного мира. Даже при уже впечатляющей реализации RT в Shadows, DLSS 5 делает игру света и тени, играющих на лесных просторах игры, еще ближе к жизни, и он прямо исправляет мелкие ошибки рендеринга, например, когда мантия персонажа неправильно отбрасывает тень на его ногу в приседе.
Эти улучшения переносятся и на такие игры, как Starfield, где трассировка лучей изначально не применялась. Включение DLSS 5 значительно повышает сложность внешнего вида окружения и объектов (а также лиц персонажей, но об этом позже). Этот опыт сохраняется и в The Elder Scrolls IV: Oblivion Remastered, где отражения на воде становятся более убедительными, а элементы окружения, такие как пространство под деревянными доками, а также арки и филигрань мостов и зданий, выглядят лучше.
DLSS 5 также призван лучше воспроизводить взаимодействие света с человеческими волосами и кожей, и нигде его улучшения не являются столь драматичными — к лучшему или к худшему — как на человеческих лицах. Nvidia заявляет, что мы не привыкли видеть лица такой детализации в рендеринге реального времени, и иногда этот эффект захватывает дух. Лица персонажей в демо от Nvidia под названием Zorah превратились из «хорошей видеоигры» в «невероятно реалистичные». А плоские и (откровенно говоря) безжизненные персонажи Starfield практически оживают при включенном DLSS 5, превращаясь во что-то, напоминающее настоящих людей, а не инопланетян в человеческих костюмах.
Но в Oblivion Remastered, где используются модели персонажей, все еще сохраняющие некоторую неловкость оригинала 2006 года, результаты более неоднозначны. Поразительно, что DLSS 5 может просто выводить, что струящиеся волосы должны создавать тени, которые нативная модель освещения игры совершенно не может отбрасывать, но когда черты лица того же персонажа комично преувеличены, рендеринг его кожи и волос с кинематографической детализацией и точностью может отталкивать больше, чем погружать в атмосферу. Эффект «зловещей долины» превращается в «зловещий Гранд-Каньон».
И здесь появление DLSS 5 и его восприятие переходят в область философскую, а не чисто техническую. Графика реального времени как область неуклонно стремилась к более фотореалистичному рендерингу с момента появления первых GPU, и работа в широком разрыве между реальной жизнью и возможностями нашей техники для ее воспроизведения требовала значительного художественного мастерства, вкуса и суждения для частичного преодоления этих ограничений.
Если DLSS 5 собирается радикально сузить этот разрыв, его неосторожное применение может привести к результатам, не соответствующим творческому замыслу игры, а накаленная реакция сообщества на результаты некоторых демонстраций Nvidia на данный момент предполагает, что компании и ее партнерам-разработчикам игр придется действовать осторожно, чтобы избежать этих ловушек. При условии, что разработчик включает DLSS 5 в тайтл с использованием существующего SDK Streamline, Nvidia заявляет, что модель предлагает элементы управления для цветокоррекции, интенсивности и маскирования, чтобы точно настроить общее влияние на внешний вид игры.
Конечно, DLSS 5 можно будет включать и выключать, как масштабирование и генерацию кадров, так что если вам не нравится его реализация в конкретной игре, вы можете просто оставить его выключенным. И хотя компания признает, что модель может быть внедрена в игры предприимчивыми моддерами, ответственность за последующие результаты лежит исключительно на этих людях, а не на разработчиках или Nvidia.
Последний открытый вопрос относительно DLSS 5 касается его аппаратных требований. Все демонстрации, которые мы видели, запускались на ПК с двумя RTX 5090: одна для запуска самой игры, а другая — для ускорения модели. Это огромный объем вычислений, но компания заявила, что еще не начала оптимизацию производительности модели, поэтому нам придется отложить суждение о ее аппаратных требованиях до более позднего времени. Nvidia также не дала никаких указаний относительно того, какая из ее архитектур GPU RTX будет лучше всего совместима с DLSS 5.
В целом, это все еще ранний взгляд, но даже на этом этапе мы воодушевлены и с осторожным оптимизмом смотрим на изменения, которые расширенное использование нейронного рендеринга несет для игровой графики. Тот факт, что DLSS 5 является моделью ИИ, означает, что ее можно постоянно дорабатывать и улучшать, подобно тому, как масштабирование DLSS развивалось в своих возможностях с течением времени.
Учитывая этот факт, Nvidia, несомненно, продолжит работать как внутри компании, так и с игровыми студиями над улучшением результатов и требований DLSS 5 по мере дальнейшей разработки этой технологии в преддверии ее запуска этой осенью. Компания заявляет, что на момент запуска поддержку DLSS 5 обеспечат более десятка игр, и, учитывая широкое распространение технологии DLSS в целом, это число, несомненно, будет расти семимильными шагами. Судя по тому, что мы видели до сих пор, нам не терпится заполучить ее и опробовать в более широком спектре тайтлов.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jeffrey Kampman