Недавно компания AMD анонсировала технологию нейронного сжатия текстур при помощи искусственного интеллекта под названием Neural Texture Block Compression (NTBC). На тот момент не было совершенно никаких деталей, а теперь AMD опубликовала документ, поясняющий принцип работы.
Сразу о главном: хотя потенциально NTBC можно использовать очень по-разному, в документе AMD идёт речь только про размер клиента игры. Некоторые современные игры занимают под 150 ГБ дискового пространства, львиная доля из которых – это текстуры высокого разрешение. Нейронное сжатие позволяет уменьшить объём на 70%.
Описание принципа работы довольно замысловатое, приводим прямую цитату:
«NTBC работает с текстурами формата BC1 и BC4, используя многоуровневое восприятие для одновременного кодирования блочно-сжатых данных всех текстур в одном материале при сохранении общего формата блочно-сжатых текстур. Затем выполняется вывод для восстановления блочно-сжатых текстурных данных, которые копируются в видеопамять. Следовательно, он не требует каких-либо изменений в шейдерах, что упрощает внедрение нашего метода в существующие графические конвейеры.
Мы также используем сетки функций с несколькими разрешениями, чтобы стимулировать оптимизацию моделей, и сжимаем их посредством обучения с учётом квантования, чтобы снизить затраты на хранение».
Очень-очень грубо говоря, NTBC ищет в текстурах закономерности/идентичные участки. Пачка закономерностей превращается в условный блок данных. Принцип работы отдалённо похож на архиватор, только поиском одинаковых/схожих участков занимается ИИ. Поскольку сами текстуры не меняются, это не очень напрягает видеокарту и несложно в плане интеграции в игры.
AMD прямо говорит, что есть минусы. Иногда технология создаёт размытые детали, артефакты изображения и просто «мыльцо». Второй момент – высокая задержка. В зависимости от агрессивности работы NTBC задержка вывода кадра увеличивается от 27 до 50 мс.
Хотя в исследовательской работе несколько раз упоминается простота интеграции в игры, пока о практической реализации и речи не идёт. Технология требует всестороннего улучшения.
