Потоковое видео через браузеры Google Chrome и Microsoft Edge становится лучше – вышло обновление RTX Video Super Resolution (VSR).
Сегодня почти 80% пропускной способности интернета приходится на потоковое видео. И 90% этого контента таких популярных источников, как Twitch.tv, YouTube, Netflix, Disney+ и Hulu транслируется в разрешении 1080p или ниже.
Однако, если зрители используют дисплеи с разрешением выше 1080p, браузер должен масштабировать видео таким образом, чтобы оно соответствовало разрешению дисплея. Большинство браузеров используют базовые методы масштабирования, из-за чего картинка получается размытой.
С RTX VSR пользователи графических процессоров серии GeForce RTX 40 и 30 могут использовать искусственный интеллект для масштабирования видеоконтента с более низким разрешением до 4K, соответствующего разрешению их дисплея. ИИ удаляет артефакты и улучшает резкость и четкость видео.
Это похоже на то, как, надев очки, близорукий человек мгновенно видит мир во всей его полноте. RTX Video Super Resolution дает зрителям с видеокартами GeForce RTX серий 40 и 30 четкую картину мира потокового видео.
RTX VSR теперь стал частью новейшего драйвера GeForce Game Ready, который обеспечивает наилучшие возможности для запуска свежих игр, таких как Atomic Heart и THE FINALS, который находится в закрытом бета-тестировании.
Эволюция масштабирования ИИ
Масштабирование с помощью ИИ — это процесс преобразования мультимедиа с более низким разрешением в более высокое разрешение путем обработки изображений с помощью модели глубокого обучения. Чтобы ИИ достраивала картинку с высокой точностью, модель нейросети должна быть обучена на бесчисленном количестве изображений с разным разрешением.
Модель искусственного интеллекта может брать видео с низким разрешением и добиваться невероятной резкости и детализации, которые не может воссоздать ни один традиционный инструмент масштабирования. Края выглядят более четкими, волосы — реалистичными, а пейзажи — поразительно живыми.
В 2019 году была выпущена ранняя версия этой технологии с SHIELD TV. Это был прорыв в улучшении потокового контента, предназначенного для телевизоров от 480p до 1080p, и оптимизированного для просмотра с расстояния 3 метров.
Зрители ПК обычно сидят намного ближе к дисплеям, чем телезрители, а значит, требуется более высокий уровень обработки при масштабировании. С GeForce RTX серий 40 и 30 пользователи получили мощные процессоры ИИ с тензорными ядрами, что позволяет выполнять масштабирование с помощью RTX VSR.
Как работает суперразрешение видео RTX
RTX VSR — это прорыв в обработке пикселей ИИ, который значительно улучшает качество потокового видеоконтента.
Артефакты сжатия — постоянная проблема в потоковом видео. Будь то изначально ошибка сервера, клиента или самого контента, проблемы часто усугубляются из-за традиционного масштабирования.
RTX VSR уменьшает или устраняет артефакты, вызванные сжатием видео, такие как блочность, артефакты по краям, размытие деталей и полосы, снижение детализации текстур. Края и детали становятся более чёткими и резкими.Технология использует сеть глубокого обучения, которая выполняет масштабирование и уменьшение артефактов сжатия за один проход.
Сеть анализирует видеокадр с более низким разрешением и прогнозирует изображение с целевым разрешением. Затем новое изображение накладывается поверх традиционно увеличенного изображения, исправляя артефакты и повышая резкость краев в соответствии с выходным разрешением.
Сеть обучается на широком спектре контента с различными уровнями сжатия. Она узнает о типах артефактов сжатия, присутствующих в видео с низким разрешением или низким качеством, которые отсутствуют в несжатых изображениях, используемых в качестве эталона. Чтобы убедиться, что модель ИИ эффективна, используется всесторонняя визуальная оценка готового контента.
Как пользоваться
Опция RTX VSR требует графического процессора серии GeForce RTX 40 или 30 и работает практически со всем контентом, передаваемым в Google Chrome и Microsoft Edge.
Эта функция также требует обновления до последней версии драйвера GeForce Game Ready или до следующего драйвера NVIDIA Studio, который выйдет в марте. И Chrome (версия 110.0.5481.105 или выше), и Edge (версия 110.0.1587.56) недавно были обновлены для поддержки RTX VSR.
Чтобы включить RTX VSR, запустите панель управления NVIDIA и откройте «Настройка параметров видеоизображения». Установите флажок «Суперразрешение» в разделе «Улучшение видео RTX» и выберите качество от одного до четырех — от минимального влияния на производительность графического процессора до самого высокого уровня улучшения масштабирования.
