MPEG-I Immersive Audio: новый стандарт звука в VR/AR

Демонстрация, представленная ниже, - это всего лишь базовый рендеринг, который еще не использует весь потенциал новой технологии MPEG-I. Однако она дает хорошее первое впечатление о том, что будет возможно в будущем. Пожалуйста, используйте наушники.

Ключевые отличия MPEG-I Immersive Audio от MPEG-H:

• 6DoF движение: MPEG-I специально разработан для VR/AR приложений с шестистепенной свободой движения (6DoF), что позволяет пользователю свободно перемещаться в виртуальном пространстве. MPEG-H 3D Audio в основном ориентирован на 3DoF движение, то есть вращение головы пользователя.
• Более реалистичная виртуальная акустика: MPEG-I обеспечивает более точные и детализированные модели акустических эффектов, таких как отражения, дифракция и оклюзия. Это делает звук в VR/AR более природным и реалистичным.
• Адаптация к реальным условиям (AR): MPEG-I учитывает акустические свойства реальной комнаты пользователя, что необходимо для AR-приложений. MPEG-H 3D Audio в основном сосредоточен на рендеринге звука в виртуальном мире.

**По сути, MPEG-I - это эволюция MPEG-H 3D Audio, специально разработанная для VR/AR с более реалистичным звуком и широкими функциями. **

Как работает MPEG-I Immersive Audio?

• Виртуальная акустика: Стандарт использует сложные алгоритмы для имитации акустических эффектов реального мира, таких как отражения от стен, дифракция звука вокруг предметов и оклюзия (затенение звука препятствиями). В результате звук в VR/AR будет звучать более объемно, реалистично и природно.
• 6DoF движение: Стандарт поддерживает шестистепенную свободу движения (6DoF), что означает, что пользователь может свободно перемещаться и вращаться в виртуальном пространстве, а звук будет меняться в соответствии с его движениями. Вы можете обойти здание и услышать, как звук меняется, когда вы проходите за него, или подняться на холм и услышать, как шум ветра становится сильнее.
• Адаптация к реальным условиям: В дополненной реальности (AR) стандарт может учесть акустические свойства реальной комнаты пользователя, чтобы звуки из виртуального мира звучали более гармонично в контексте реального окружения.
• Эффективное сжатие: Стандарт использует современные алгоритмы сжатия, чтобы сократить объем звуковых данных и обеспечить быструю и плавную трансляцию звука в VR/AR приложениях.

MPEG-I Immersive Audio делает VR/AR более реалистичным и увлекательным для пользователей. Благодаря нему:

• Погружение в виртуальный мир: Виртуальный мир станет более реалистичным и захватывающим, поскольку звук будет более детализированным, естественным и интерактивным.
• Новые возможности для VR/AR: Разработчики получат новые возможности для создания более сложных и интересных VR/AR приложений с богатым звуковым опытом.
• Повышение интерактивности: VR/AR станут более интерактивными, поскольку звук будет реагировать на действия пользователя.
• Широкое применение: Стандарт будет использоваться в различных областях, от видеоигр до вещания и метавселенных.

Когда мы увидим MPEG-I Immersive Audio в действии?

Ожидается, что MPEG-I Immersive Audio будет внедряться в коммерческие VR/AR устройства в ближайшие годы (ожидание на 2025). Этот стандарт изменит наш способ восприятия виртуального и дополненного мира, делая его более реалистичным, увлекательным и интерактивным.

Более подробное изучение этой темы:

https://www.iis.fraunhofer.de/en/ff/amm/for/mpegi.html
https://aes2.org/publications/elibrary-page/?id=22127
https://pub.dega-akustik.de/DAGA_2023/data/articles/000634.pdf
https://pub.dega-akustik.de/DAGA_2023/data/articles/000401.pdf