В середине марта Дженсен Хуанг выходит на сцену GTC и показывает технологию, которая заставила многих… Удивиться. А не рано ли? Первое апреля то еще не скоро…
Короче, DLSS 5 — это не очередное обновление привычного нам апскейлера. Здесь все устроено иначе, и первые демки вызвали столько же восторга, сколько и недоумения.
Если раньше DLSS пыталась восстановить исходное нативное изображение, то пятая версия работает по другому принципу. Она берет игровой кадр и за миллисекунды перерисовывает его заново.
Не достраивает пиксели, не убирает шумы — а именно перерисовывает. Добавляет студийный свет, морщинки, блики в зрачках, макияж, меняет черты лица… Многие считают это нейрослопом… Но может быть это просто старт крутой технологии, которая в будущем станет мастхевной? Давайте разбираться.
Как это устроено на самом деле
Технически DLSS 5 — это нейронный рендеринг. На вход система получает цветовую карту и векторы движения, а затем рисует то, чего в оригинале никогда не существовало. Nvidia утверждает, что нейросеть привязана к 3D-контенту и использует информацию о глубине, нормалях и материалах. То есть она не просто накидывает фильтр поверх готового изображения, а встраивается в рендер-пайплайн.
Но если присмотреться к демкам, возникают вопросы. Почему у персонажей в статичных кадрах плывут лица? Почему при малейшем движении начинаются пляски с губами? Если нейросеть действительно понимает геометрию сцены, откуда берутся эти артефакты?
Скорее всего, реальность чуть прозаичнее. Нейросеть получает только готовый кадр и векторы движения. Она пытается угадать, где лицо, где волосы, где ткань, а потом перерисовывает это с добавлением выдуманных деталей. И делает все это за миллисекунды. Nvidia, вероятно, пожертвовала точностью ради скорости — иначе даже две RTX 5090 не справились бы с обработкой в реальном времени.
Кстати, о 5090. На демонстрации одна карта рендерила игру, вторая занималась нейрообработкой...
Дженсен обещает, что к релизу все сожмут в одну карту. Но во что превратится производительность — большой вопрос. Скорее всего, нам предложат запускать игры в разрешении 540p, чтобы потом апскейлить и нейрообрабатывать до 4K. Короче, одна часть технологии создает проблемы, другая — их решает.
Лица, стиль и культурная война
Самое больное — это лица. На демках было заметно, что нейросеть упорно превращает всех женщин в бимбо с макияжем, а мужчинам добавляет брутальности и лет десять возраста. Почему так происходит?
Ответ кроется в обучающей выборке.
Нейросеть тренировали на фотореалистичных изображениях, а в таких изображениях чаще всего попадаются лица с макияжем, со студийным светом, с идеальной кожей. Она просто дорисовывает то, что считает нормой. Но для игр, где важна стилизация, это просто катастрофа.
Вспомните Ведьмака. Лица там слегка карикатурные, упрощенные, но они передают характер. Red Dead Redemption 2 — тоже не фотореализм, а правдоподобие.
Когда ты начинаешь наваливать гиперреализм, мозг перестает достраивать детали и начинает искать нестыковки.
Эффект зловещей долины, он же «жуткая Лариса Долина» — это когда лицо вроде бы реалистичное, но что-то с ним не так. DLSS 5 сейчас генерирует именно это.
Вокруг этой особенности сразу разгорелись споры. Кто-то начал кидать мемы с Кратосом, который после DLSS 5 выглядит как модель из Instagram. Кто-то заорал, что Nvidia уничтожает искусство. А кто-то, наоборот, обрадовался…
Но если отбросить крайности, суть проста. Мы хотим, чтобы персонажи были такими, какими их задумали разработчики, а не какими их хочет видеть нейросеть. Если захочется фотореализма — есть кино.
Что будет дальше
Технология еще сырая. Демка работала на двух картах, а до релиза еще полгода. Помните, как первые RTX были полным… скажем так, несовершенством? А сейчас трассировка лучей работает, хоть и с костылями. Помните DLSS 1.0 — красивые демки, а в реальных играх все мыльно? Потом подтянули.
У Nvidia сейчас бешеные доходы от серверных ускорителей. Ресурсы на то, чтобы доработать технологию есть. Они уже обещают разработчикам инструменты маскирования — можно будет сказать нейросети: «Вот это лицо не трогай, а вот это окружение — улучшай».
В теории, если все настроить правильно, DLSS 5 может стать нормальным инструментом для статичных объектов, растительности, дальних планов. А лица, если их замаскировать, останутся авторскими.
Но есть одна огромная проблема — не техническая, а человеческая. Представьте типичного издателя. У него есть студия, художники, моделеры. Они рисуют высокодетализированные ассеты, тратят деньги. И тут появляется технология, которая может взять примитив уровня PlayStation 3 и превратить его в фотореалистичную модель. Как вы думаете, что сделает издатель?
Правильно. Уволит половину художников и скажет оставшимся: «Рисуйте кружочки вместо лиц, остальное нейросеть дорисует».
Это ровно то, что уже случилось с оптимизацией, когда все стали надеяться на DLSS и фреймген. Системные требования игр теперь пишут с учетом включенного апскейлера. Разработчики перестали париться. А теперь представьте, что вместо честных текстур и геометрии нам будут впаривать нейрогаллюцинации.
Что в итоге?
Сейчас есть три варианта развития событий. Первый: нейрослоп, который уничтожит стилизацию. Второй они смогут стабилизировать генерацию, дать контроль разработчикам и не позволят издателям экономить на художниках.
Мы пока не знаем, каким будет DLSS 5 через полгода. Может, Дженсен прочитает комментарии, испугается и заставит инженеров докрутить стабильность. Может, разработчики получат SDK и начнут вытравливать бимбо-фильтр из лиц. Может, все сложится…
А может, и нет. Может, нас ждет будущее, где игры будут выглядеть как дешевые нейро-открытки, а лица персонажей будут меняться от кадра к кадру.
Но пока этого не случилось — остается смотреть на Nvidia с интересом и здоровым скепсисом.
А вы как думаете технология приживется или пойдет в утиль? Или может быть мы скоро все будем играть в нейрослоп? Пишите в комментариях!
И не забывайте поставить лайк и подписаться на нас. Впереди еще много полезной информации!
