Игры все чаще используют ИИ для рендеринга, и Microsoft внедряет ИИ в будущие графические чипы с помощью DirectX Linear Algebra и DirectX Compute Graph Compiler. Эти технологии призваны интегрировать машинное обучение в конвейер рендеринга. — pcworld.com
Игры все чаще отрисовываются с помощью ИИ, поэтому Microsoft внедряет искусственный интеллект в то, как будущие графические чипы будут рендерить игры.
В четверг Microsoft представила DirectX Linear Algebra, а также DirectX Compute Graph Compiler в своем программном интерфейсе DirectX. Предварительные версии обеих технологий ожидаются позднее в этом году.
По крайней мере, заявление Microsoft о позиционировании обеих технологий помогает объяснить, какое место они займут.
«[Машинное обучение] больше не является нишевой оптимизацией, ни уловкой постобработки», — написала в своем блоге Адель Парсонс, менеджер по графике в Microsoft. «Оно все глубже проникает в конвейер рендеринга, влияя на то, как генерируются кадры, как создается контент и как разработчики игр реализуют свое художественное видение. DirectX развивается, чтобы поддерживать это будущее — будущее, в котором МО является полноправным участником наряду с традиционными рабочими нагрузками рендеринга».
Большинство энтузиастов понимают, как графические чипы используют искусственный интеллект или машинное обучение. Апскейлинг (повышение разрешения) просит ГП отрисовать сцену с использованием менее сложного низкого разрешения, а затем использует методы ИИ для масштабирования или увеличения разрешения до желаемого качества. Генерация кадров просит ГП отрисовать один кадр, затем другой; затем он использует ИИ для интерполяции того, что игрок должен увидеть в промежуточных кадрах. Хотя это может вызвать небольшую задержку (лаг), это может поднять частоту кадров на гораздо более высокие уровни, значительно улучшая плавность изображения.
Mark Hachman / Foundry
Обе техники комбинируются для дополнения фактического отрисованного вывода ГП, позволяя бюджетным или интегрированным ГП, таким как новые Panther Lake от Intel, конкурировать со старыми дискретными ГП в плане производительности в играх.
Макс МакМаллен, менеджер по разработке программного обеспечения в Microsoft, пригласил представителей AMD, Intel и Nvidia выйти с ним на сцену на Конференции разработчиков игр в Сан-Франциско в качестве свидетельства их поддержки.
Это просто математика
DirectX Linear Algebra просто поддерживает математику, используемую ИИ. Традиционные ГП использовали векторно-матричные операции для расчета 3D-форм и освещения. Процессоры, разработанные для ИИ, такие как новое поколение рабочих станций ГП, используют матрично-матричную математику. Но логика, подобная тензорным ядрам Nvidia, которая со временем становится все более важной, выполняет матрично-матричные вычисления.
Однако DirectX Linear Algebra не столько о предоставлении разработчикам игр контроля над ИИ. Как выяснила Microsoft, согласно их сообщению в блоге, некоторые функции, такие как временное масштабирование, зависят от матричной математики — и они очень хорошо работают при применении к шейдерам. Шейдеры — это своего рода инструкции по рендерингу для вашего ГП, и обычно они загружаются до того, как вы начнете играть в игру — что не нравится Microsoft.
Однако DirectX Compute Graph Compiler может иметь гораздо больший потенциал. Более старые инструменты, такие как FSR первого поколения от AMD, отрисовывали сцены, просматривая изменения на уровне отдельных пикселей, описывая изменения от одного кадра к другому. Но современные версии FidelityFX Super Resolution (а также DLSS от Nvidia) перешли к полной интеграции модели, где анализируется вся сцена или модель. Вместо того чтобы инструктировать пиксели «двигаться», ИИ по сути вычисляет, где пиксели должны находиться, и назначает их соответствующим образом.
Иными словами, попиксельная интерполяция может не знать, переместился ли «мяч» за «дерево». Идея состоит в том, что интерполяция всей модели будет знать и обеспечит более точное представление сцены. Microsoft пытается перенести это непосредственно в конвейер DirectX.
Среди прочего, игра, разработанная с учетом обеих технологий DirectX, сможет по сути общаться с ГП и конструировать собственные шейдеры — и сможет делать это далеко в будущем для ГП, которые не были доступны на момент публикации игры, отметил Дон Бриттейн, выдающийся инженер Nvidia.
Однако некоторые геймеры отвергают идею «фальшивых кадров», когда ИИ пытается правильно угадать, что иначе отрисовал бы ГП. Обе эти технологии DirectX продвинут эту концепцию дальше. Руководители говорили о «нейронном сжатии текстур», где ИИ по сути угадывал бы, как должна выглядеть сжатая текстура при распаковке; и о «нейронном освещении», где ИИ вычислял бы, куда, по его мнению, должны идти лучи света.
Mark Hachman / Foundry
Компромисс заключается в том, чтобы сделать более продвинутые функции доступными для более широкого круга геймеров. Нейронное сжатие текстур может снизить потребность в огромном количестве памяти и хранилища, которые занимают игровые текстуры — до 30 процентов, по словам МакМаллена. Нейронное излучение может уменьшить потребность в специализированных блоках трассировки лучей и сделать фотореалистичную «трассировку пути» более доступной для большего числа геймеров.
Однако ни одна из технологий не близка к релизу. Microsoft заявила, что DirectX Compute Graph Compiler будет доступен для закрытого предварительного просмотра этим летом. DirectX Linear Algebra войдет в публичный предварительный просмотр в апреле. Пройдет некоторое время, прежде чем они станут частью самого DirectX, а затем будут приняты индустрией в целом.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Mark Hachman