Компания Nvidia уже несколько лет работает над новым методом сжатия текстур и экономии памяти видеокартами. Хотя технология все еще находится в стадии бета-тестирования, недавно выпущенная демонстрационная версия показывает, как решения на основе ИИ могут помочь устранить все более спорные ограничения VRAM современных GPU.
Neural Texture Compression от Nvidia может обеспечить гигантскую экономию объема VRAM, необходимого для рендеринга сложной 3D-графики. Пока технология находилась в стадии бета-тестирования, она была протестирована каналом YouTube Compusemble, который запустил официальную демонстрацию на современной игровой системе, чтобы предоставить первый тест ее потенциального использования и того, чего разработчики могут достичь с ее помощью в не столь отдаленном будущем.
Как объясняет канал Compusemble в видео, RTX Neural Texture Compression использует специализированную нейронную сеть для динамического сжатия и распаковки текстур материалов. Демонстрационная версия Nvidia включает три режима рендеринга: Reference Material, NTC Transcoded to BCn и Inference on Sample.
Reference Material: этот режим не использует NTC, то есть текстуры остаются в исходном состоянии, что приводит к высокому использованию диска и VRAM.
NTC Transcoded to BCn (block-compressed formats): здесь текстуры транскодируются при загрузке, что значительно сокращает объем занимаемого дискового пространства, но обеспечивает лишь умеренную экономию VRAM.
Inference on Sample: этот подход распаковывает элементы текстуры только при необходимости во время рендеринга, достигая наибольшей экономии как дискового пространства, так и VRAM.
Compusemble протестировал демо в разрешениях 1440p и 4K, чередуя DLSS и TAA. Результаты показывают, что, хотя NTC может значительно сократить использование VRAM и дискового пространства, он также может повлиять на частоту кадров. При разрешении 1440p с DLSS в режиме NTC Transcoded to BCn, сокращается использование текстурной памяти на 64% (с 272 МБ до 98 МБ), в то время как вывод NTC Inference резко сократил его до 11,37 МБ, что на 95,8% меньше по сравнению с обычным сжатием.
Демонстрация работала на графическом процессоре GeForce RTX 4090, где DLSS и более высокие разрешения создавали дополнительную нагрузку на тензорные ядра, влияя на производительность в определенной степени в зависимости от настроек и разрешения. Однако более новые графические процессоры могут обеспечивать более высокую частоту кадров и делать разницу незначительной при правильной оптимизации.
Демонстрация также показывает важность кооперативных векторов в современных конвейерах рендеринга. Как недавно объяснила Microsoft, кооперативные векторы ускоряют рабочие нагрузки ИИ для рендеринга в реальном времени за счет оптимизации векторных операций. Эти вычисления играют решающую роль в обучении и настройке модели ИИ, а также могут быть использованы для повышения эффективности рендеринга в играх.