Нейросети и графика игр

Существует множество различных нейросетей для работы с изображениями - дорисовывание, рисование по запросу, улучшение качества, изменение стиля и мн. др.

коллаж из Doom, Real-ESRGAN и Kandinsky

Сегодня я покажу результаты работы разных сетей для изменения изображения и нарисую перспективы этого направления применительно к графике видеоигр.

Real-ESRGAN - это нейросеть с открытым исходным кодом, направленная на увеличение качества фото. Она генерирует высококачественное изображение, основываясь на низкокачественном оригинале. Первое её преимущество - бесплатность и доступность. Любой желающий может начать её использовать через бесплатную программу Upscayl (работает на всех популярных платформах, бонусом идут и другие похожие нейросети). Второе - нет обязательного требования на размер изображения - оригинала.

Причём тут фото и игры? - спросите Вы. Дело в том, что если дать этой нейросети не фото, а другое изображение - изображение не только станет качественнее, но и немного сменит стиль - сеть учили выдавать фотореалистичный результат, и она делает это даже там, где это не нужно.

В итоге в теории мы можем дать сети что угодно и получить фотореалистичную версию этого. Понимаете что это даёт индустрии развлечений и игроиндустрии в частности? Разработчикам можно будет больше не париться над графикой, делегируя эту задачу нейросетям, а сосредоточиться на игровом процессе.

Также есть и множество других нейросетей:

Фильтрум в Шедевруме "в фильм" делает фотореализм за счёт небольшого изменения деталей

Смена стиля на реализм в Stable Diffusion за счёт большого изменения деталей: Prompt: photorealism, HD, hd, 8k, 50 mm lens, natural light, ultra‑details, 16K, bokeh Negative prompt: cartoon, game, poorly drawn, watermark, signature, low contrast, underexposed, overexposed, bad art, beginner, amateur Sampling steps: 20, Sampler: DPM++ 2S a, CFG scale: 11, Model: v1-5-pruned-emaonly (Refine 0.5), Denoising strength: 0.4

Смена стиля на реализм в Stable Diffusion за счёт небольшого изменения деталей: Prompt: photorealism, HD, hd, 8k, 50 mm lens, natural light, ultra-details, 16K, small bokeh, people talk, focus, depth of field Negative prompt: cartoon, game, poorly drawn, watermark, signature, low contrast, underexposed, overexposed, bad art, beginner, amateur Sampling steps: 30, Sampler: DPM++ 2S a, CFG scale: 11, Model: v1-5-pruned-emaonly (Refine 0.2), Denoising strength: 0.4

Смена стиля на Realistic в Dzine AI Style Transfer за счёт небольшого изменения деталей: 0.7 Similar, Color Match, Face Match, Auto Prompt

Ручная замена фона на изображение из Dzine: Prompt: realistic photo, photorealism, HD, hd, 8k, 50 mm lens, natural light, ultra-details, 16K, small bokeh, focus, depth of field, cave 0.7 Similar, Color Match, Face Match Negative prompt: cartoon, game, poorly drawn, watermark, signature, low contrast, underexposed, overexposed, bad art, beginner, amateur, people,human

Смена стиля на Realistic в Dzine AI Style Transfer за счёт большого изменения деталей: 0.3 Similar, Color Match, Face Match, Prompt: cave, The main character is standing on the left side of the frame, holding a staff and dressed in armor that suggests they are ready for combat. On the right, there are two figures that appear to be enemies; one is casting a green spell while the other seems to be preparing an attack. The environment is dimly lit with natural light filtering in from above, highlighting the rugged rock formations and adding a sense of mystery to the scene. Negative prompt: cartoon, game, poorly drawn, watermark, signature, low contrast, underexposed, overexposed, bad art, beginner, amateur

Высококачественная передача содержания картинки в Stable Diffusion: Prompt: photorealism, beatiful HD, hd, 8k, 50 mm lens, natural light, ultra-details, 16K, small bokeh, depth of field Negative prompt: cartoon, game, poorly drawn, watermark, signature, underexposed, overexposed, bad art, beginner, amateur, ugly, playstation, PS2, PS3 Sampling steps: 20, Sampler: Euler a, CFG Scale: 11 ControlNet: Low VRAM, Pixel perfect, Control Type: IP-Adapter, Model: ip-adapter_sd15_plus, Weight Type: strong middle, Weights: [0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 1, 0.2, 0.2, 0.2, 0.2, 0.2, 0.2, 0.2, 0.2, 0.2]

На практике пока всё не так радужно:

1) Чем более хороший результат мы хотим получить (в идеале полную фотореалистичность), тем более крутая должна быть сеть, а соответственно, больше ресурсов она будет жрать и дольше работать над одним кадром. В играх, где игрок, всё-таки обладает некоей свободой выбора, заранее просчитать все кадры невозможно (в отличие от кино), а значит один кадр должен просчитываться хотя быстрее, чем за 1/25 секунды, в идеале намного-намного быстрее, чем 1/60 секунды, ведь кроме нейросети всё таки сначала отрисовывается 3D-движком сам кадр за какое-то время. Сейчас, на бесплатных нейросетях, и результат далеко не идеальный, и время на один кадр идёт на минуты...

2) Конкретно Real-ESRGAN всё-так и нацелен на другую задачу, а поэтому, чем более фотореалистичен будет оригинал, тем сильнее поменяется стиль на фотореализм. Есть, конечно, специализированные сети, которые только меняют стиль - и вот на них нужно обратить внимание разработчикам. Но всё равно, если Вы что-то можете сделать без нейросети - например тени - это всё равно нужно делать, а потом уже передавать ей.

3) При смене стиля неизбежно теряются детали (если бы они все сохранились, то и стиль бы остался), для Real-ESRGAN - это критично, так как нам нужно сначала самим уменьшить картинку (или рисовать кадр в меньшем разрешении - не страшно пиксельным играм - ведь там априори маленькое разрешение, неизбежно потеряв детали), а потом ещё и доверится сети, надеясь, что она выкинет немного оставшихся деталей. Для специализированных сетей - чем сильнее мы меняем стиль, тем неопределённее становятся объекты и хоть результат на каждом отдельном кадре может быть идеальным, он будет заметно отличаться от соседних кадров и моргание будет мешать наслаждаться прекрасной картинкой.

4) Неизбежно возрастут системные требования:
сейчас для Stable Diffusion необходимо 4 ГБ VRAM
Flux - 6 ГБ VRAM
AuraFlow - 12 ГБ VRAM (а это не каждый может себе позволить)

Вообщем, перспективы огромные, но время для этого ещё пока не пришло. Хотя мододелы уже давно делают ремастеры любых игр, прогоняя текстуры через похожие сети, получая HD-версии,

waifu2x для текстур Doom

Но одними текстурами фотореализм не сделаешь - даже наоборот фотореализм - это не текстуры, а правильное освещение, тени, глубина, цвета и др. А что есть сейчас? Я сделал несколько видеоэкспериментов (почти везде пререндер, а не реал-тайм):

Новая жизнь старых игр:

Повышение планки доступного фотореализма в современных играх:

Конкретно Real-ESRGAN, видно, что старается, но у него далеко не везде всё получается

Ждём новую сетку, специализирующуюся именно на этом. А пока ждём - подписываемся на мой канал, чтобы не пропустить и...

Кстати, если Вам интересен апскейл в другом ключе - не как улучшение визуального восприятия, а как восстановление утраченной (неполученной) информации на одной картинке, то милости прошу попробовать мой инструмент scaleSmooth - доверять такое нейросетям нельзя - они рисуют что хотят, лишь бы красиво.

... если Вам понравились ролики выше - можно посмотреть другие на похожие темы