Вчера компания Apple наконец-то представила свою гарнитуру смешанной реальности Vision Pro. Презентация устройства длилась весьма долго, и подробностей было немало. Сейчас появились новые, которые изначально были упущены.
К примеру, гарнитура оснащена в общей сложности 12 камерами, четырьмя датчиками глубины, одним лидаром и шестью микрофонами. Всё это нужно для смешивания виртуальной реальности с окружающим миром.
Шесть из двенадцати камер находятся под передним стеклом. Две из этих шести захватывают цветное изображение с высоким разрешением, чтобы обеспечить то самое смешение реальностей, передавая «более одного миллиарда цветовых пикселей в секунду».
Две камеры отслеживают лицо и мимику, внутренние инфракрасные камеры следят за глазами.
Датчики глубины, кроме прочего, нужны для отслеживания рук пользователя. Напомним, гарнитура Apple не предусматривает контроллеры для работы: управление производится посредством жестов, взгляда и голосовых команд.
Лидар, само собой, нужен для ориентации устройства в пространстве. Apple утверждает, что Vision Pro отлично понимает окружающую обстановку. Настолько хорошо, что виртуальные объекты при проецировании их на реальные отбрасывают правильные виртуальные тени.
Дабы снизить нагрузку на CPU и GPU, гарнитура использует технологию Dynamically Foveated Rendering, которая подразумевает вывод изображения на дисплеи в полном разрешении только в той области, на которую в данный момент времени падает взгляд пользователя. Остальные области выводятся с пониженным разрешением. Такое же решение используется в PS VR 2.
Процессор Apple R1 в гарнитуре отвечает как раз за обработку данных с камер, микрофонов и датчиков. В числе прочего такое решение позволяет снизить задержку вывода изображения до 12 мс.
Apple не раскрыла точное значение разрешения экранов, но говорила о 23 млн пикселей. При соотношении сторон 1 : 1 либо 9 : 10, которое часто встречается в гарнитурах, это означает разрешение около 3400 х 3400 либо 3200 х 3600 пикселей соответственно.