Всем вам известно, что в последние несколько лет технологии развиваются так стремительно, что современное железо не всегда справляется с поставленной задачей уже спустя некоторое время, но продать устройство хочется с заявленными рекламными ходами заложенные ещё до начала продаж. Вот тут и приходит на помощь апскейлинг, чекбоардинг, реконструкция о которых мы сегодня и поговорим.
Апскейлинг
Если вкратце, то апскейлинг — это масштабирование всех входящих видеосигналов до нужного вам разрешения, но просто растянуть низкое разрешение до высокого без потери качества практически невозможно. Поэтому большинство разработчиков пытаются ухищряться для достижения хоть и не полноценного, но приближённого к 4К разрешению.
Апскейл может выполняться не только на стороне источника (компьютер или консоль), но и устройстве вывода изображения благодаря встроенному ПО. Во времена HD-Ready телевизоров и консолей PS3 для скрытия низкого разрешения, телевизоры Sony Bravia использовали интерполяцию, сглаживание наклонных линий и шумоподавление, что и давало иллюзию более красивой картинкой, при этом жертвуя более высокой задержкой.
Один из основных методов апскейлинга сегодня является бикубическое масштабирование. Данный алгоритм увеличивает картинку попиксельно при этом анализирует информацию о 16 окружающих соседних пикселей. Данный метод хорошо работает только с пиксельной графикой, при более сложном изображении появляются артефакты и лесенки.
Как бы хорошо разные методы апскейлинга или технологии устройства вывода не помогали улучшать картинку, для современных игр они мало подходят. Ведь они не только ухудшают отклик в управлении, но могут испортить и без того не очень чёткую картинку. Для преобразования картинки из HD в FullHD будет достаточно стандартных способов интеллектуального анализа и дорисовки промежуточных пикселей, но использования более низких разрешений или преобразования в 4К смазывало картинку, что ставило разработчиков в тупик надеявшихся на ваши настройки телевизора.
Шахматный рендер
Первые кто решился использовать так называемый разряженный метод рендеринга, который мы сегодня называем шахматным был предложен в Ubisoft для того, что-бы их онлайн шутер смог работать на консолях в 1080p60fps. На GDC 2016, разработчики рассказывали, что сначала они хотели спользовать чересстрочный рендеринг, принцип которого состоит из того, что первый кадр рендерит четные строки, а для второй — нечетные. Такой метод оказался ужасным, ведь на картинке было много лесенок, тени мерцали, а свет просто пропадал. Французы решили чередовать не строчки пикселей, а пиксели в виде в шахматной доски с добавлением временного сглаживания на основе предыдущего построенного кадра, что принесло свои плоды.
На первый взгляд трудно отличить разницу между настоящими 4К и полученными благодаря чекербордингу, но он в свою очередь оставляет серьёзные артефакты при перемещении чётких гранях изображений, а быстрое движение оставляет за собой шлейф перекрёстного рисунка, где затеняется только половина пикселей. Разработчики не смогли решить проблемы шахматного рендеринга, скрыв их размытием, ну а в данный момент данная технология не используется благодаря реконструкции и нейросетям.
Реконструкция
Первой игрой с методом реконструкции была Quantum Break. Xbox One считалась слабой консолью и очень проблематичной из-за памяти ESDRAM, но Remedy смогли заставить работать игру в 720p с последующей реконструкцией до 1080p. Движок игры использовал информацию из прошлых кадров и предугадывал векторы движения персонажа, что позволяло построить картинку в высоком разрешении увеличивая количество пикселей рендера в 2 раза.
Первые нейросети которые использовали для сборки «мыльного» рендера в картинку с более высоким разрешением требовала совместного сотрудничества с разработчиком и работала примерно по такому же принципу, что и в Quantum Break. Первой такой игрой стала Control и использовала DLSS, алгоритм которой тренировали прогоняя его через множество кадров из игры в сверхвысоком разрешении превосходящий 4К. С выходом Nvidia DLSS 2.0 и AMD FSR реконструкция изображений больше не требовала тренировки, а так же технология внедрилась в железо консолей и больше не требует каких либо соглашений и добавляется по сути нажатием одной кнопки.
В данный момент у технологии есть недостатки в виде следов от движений и размытия деталей в дали, но их быстро исправляют благодаря широким возможностям нейросетей. А самое главное — это увеличение количества кадров при минимальных изменений в картинке, что позволяет сделать вывод, что хоть до полноценных 4К нам ещё далеко, но благодаря технологиям мы можем получить картинку ничем не отличающиеся от нативной без потери в производительности.
