Известная во всем мире своим вкладом в формат MPEG-технологию сжатия, использующуюся в аудиофайлах MP3 и видеороликах MP4 — немецкая Fraunhofer недавно обратила свое внимание на следующий рубеж в медиа: виртуальную реальность.
После обнародования доступного оборудования microdisplay для VR гарнитур в прошлом году компания теперь демонстрирует программное обеспечение для сжатия видео следующего поколения с использованием нового стандарта MPEG-OMAF, первой спецификации VR, позволяющей 360-градусным видео транслироваться по сетям 5G.
Основанный в «значительной» части на технологиях сжатия видео Fraunhofer, MPEG-OMAF разбивает видео на сетки зон, закодированных в нескольких разрешениях. На примере изображения выше можно увидеть, что красные зоны используются для обозначения областей, которые передаются в низком разрешении, по сравнению с обычными цветными зонами, которые передаются в высоком разрешении.
В отличие от традиционных видео, которые транслируются с серверов в одном выбранном пользователем разрешении, эти VR видео динамически используют зоны высокого разрешения, которые в настоящее время смотрит зритель, и зоны низкого разрешения для частей, которые находятся вне поля зрения. При изменении положения головы пользователя гарнитура или устройство отображения запрашивает другое сочетание потоковых областей, оптимизированных для текущей области фокусировки пользователя.
Этот трюк позволяет всему 360-градусному видео продолжать потоковую передачу, уделяя максимум внимания тому, что пользователь видит в данный момент. Он параллелен недавнему использованию foveated рендеринга для максимизации 3D-графики в реальном времени для VR пользователей, гарантируя, что зритель всегда сможет видеть что-то с помощью своего периферийного зрения, даже если оно ниже в четкости.
Международная организация сотовых стандартов 3GPP приняла стандарт MPEG-OMAF для потоковой передачи 5G VR, поэтому она, вероятно, будет поддерживать множество 360-градусных видеопотоков в виртуальной реальности — так же, как MP3 и MP4, были определяющими в предыдущем поколении цифрового аудио и видео. Текущие 360-градусные видеоролики VR, транслируемые по 4G и даже сетям Wi-Fi, которые, как правило, страдают от общего низкого разрешения, проблем сжатия и высокой задержки.
Fraunhofer продемонстрировал новую технологию, используя комбинацию JavaScript, веб-браузера Safari от Apple, API WebGL для рендеринга и поддержки видео HEVC; техническое видео доступно для просмотра здесь. Исходный код плеера JavaScript и инструкции по созданию контента, совместимого с этими стандартами, теперь доступны на GitHub.
Оставайтесь в курсе последних новостей виртуальной реальности вместе с VRGeek!
Далее: Приложения для Vuzix Blade повторяют ошибки Google Glass