Недавно анонсированная технология DLSS 5 от NVIDIA вызвала немало споров в сети. Масла в огонь подлил блогер Дэниел Оуэн, прояснивший у компании механику работы ИИ-апскейлера.
Блогер Дэниел Оуэн задал NVIDIA прямой вопрос касательно входных данных DLSS 5: «Берёт ли модель одиночный двухмерный кадр в качестве входных данных (с векторами движения), чтобы создать кадр на выходе?» Ответ получился крайне неожиданным — и серьёзно расходящимся с недавним заявлением Дженсена Хуанга: да, так оно и есть.
Оказывается, модель не взаимодействует с трёхмерной геометрией или материалами в игре напрямую — она просто анализирует плоское изображение и определяет свойства материалов и освещение сцены. Это объясняет, почему у некоторых персонажей на презентации появлялись лишние волосы, добавлялся отсутствующий в оригинале макияж или менялись черты лица. Контроль разработчиков при этом остаётся весьма ограниченным: они могут лишь настроить параметры интенсивности обработки изображения, но вся «творческая» деятельность в итоге остаётся за нейросетью.
Также блогер обратил внимание на любопытный язык формулировок в описании технологии компанией. К примеру, NVIDIA уверяет, что оригинальные «геометрия и текстуры» остаются нетронутыми — такая фраза намекает на то, что технология взаимодействует с игрой на глубоком уровне. Однако, как оказалось, речь идёт именно о том, о чём и догадывался весь интернет: модель попросту изменяет двухмерные кадры.
Иначе говоря, речь идёт о продвинутом ИИ-фильтре. Оуэн сравнивает этот процесс с обработкой множественных скриншотов, которыми алгоритм затем подменяет итоговое изображение. Возникает большой вопрос о консистентности финальной графики — впрочем, ситуация станет гораздо яснее с выходом технологии этой осенью.