Apple наконец представила Vision Pro, свою гарнитуру AR/VR за 3500 долларов, которая будет выпущена в 2024 году. Вот изложение ее полных характеристик и функций.
Vision Pro — это ультрасовременная гарнитура с самым высоким разрешением и большинством датчиков, когда-либо использовавшихся в продуктах AR/VR. Она представляет новые функции, которые ранее не были представлены, а его VisionOS переосмысливает грань между 2D, AR и VR.
Легкая конструкция
Vision Pro имеет специальную легкую раму из алюминиевого сплава, поддерживающую изогнутую переднюю панель из ламинированного стекла «трехмерной формы», что обеспечивает тонкий дизайн.
Что также делает Vision Pro легкой, так это отделение аккумулятора от гарнитуры. Некоторые другие гарнитуры, такие как Quest Pro и Pico 4, имеют батарею в задней части ремешка, но дизайн Apple полностью снимает ее с вашей головы с помощью внешней батареи, привязанной к магнитному разъему слева от оголовья.
Apple утверждает, что внешний аккумулятор проработал 2 часа при следующих условиях тестирования:
Воспроизведение видео, просмотр Интернета, захват пространственного видео и FaceTime. Воспроизведение видео протестировано в сочетании со средой с использованием контента 2D-фильмов, приобретенного в приложении Apple TV. Работа в Интернете протестирована с использованием 20 популярных веб-сайтов. Тестирование FaceTime между двумя устройствами Apple Vision Pro с включенными персонами. Протестировано с Wi-Fi, подключенным к сети.
Кроме того, Vision Pro можно постоянно использовать без аккумулятора, подключив его к источнику питания. Apple еще не вдавалась в подробности о том, какие источники поддерживаются и включен ли адаптер для этого.
Множество камер и датчиков
Vision Pro имеет в общей сложности двенадцать камер, четыре датчика глубины, датчик LiDAR и шесть микрофонов.
Сквозная дополненная реальность
Шесть из двенадцати камер находятся под передним стеклом.
Две из этих шести захватывают цветное изображение с высоким разрешением, чтобы обеспечить сквозное представление реального мира через гарнитуру, передавая «более одного миллиарда цветовых пикселей в секунду».
Остальные четыре фронтальные камеры выполняют отслеживание положения гарнитуры и другие общие задачи компьютерного зрения.
Отслеживание рук
Одной из целей четырех датчиков глубины является отслеживание рук. Apple описывает качество отслеживания рук как «настолько точное, что оно полностью освобождает ваши руки от необходимости использовать неуклюжие аппаратные контроллеры».
В Vision Pro отсутствуют какие-либо отслеживаемые контроллеры, хотя она поддерживает 2D-игры на виртуальном экране с помощью геймпада.
Создание сетки среды
Датчик LiDAR используется для выполнения «3D-картирования в реальном времени» вашей среды в сочетании с другими передними камерами.
Apple утверждает, что Vision Pro обладает «подробным пониманием» ваших полов, стен, поверхностей и мебели, которые могут использовать приложения. Одним из примеров, который привела Apple, были виртуальные объекты, отбрасывающие тени на реальные столы, но это лишь малая часть того, что возможно.
Отслеживание лиц и глаз для FaceTime и не только
Две камеры, направленные вниз, отслеживают ваше лицо, а четыре внутренние ИК-камеры рядом с ними отслеживают ваши глаза, чему помогает кольцо светодиодной подсветки вокруг линз.
Отслеживание взгляда Vision Pro служит трем целям: аутентификация, фовеальный рендеринг и управление вашим аватаром FaceTime.
Apple называет свою новую аутентификацию сканированием радужной оболочки глаза OpticID, следуя схеме именования TouchID и FaceID других своих устройств. OpticID — это то, как вы разблокируете Vision Pro, а также работает с покупками Apple Pay и автозаполнением пароля. Как и в случае с TouchID и FaceID, биометрические данные, используемые OpticID, обрабатываются на устройстве процессором Secure Enclave.
Фовеальный рендеринг — это метод, при котором только небольшая область дисплея, на которую в данный момент смотрят ваши глаза, визуализируется в полном разрешении, тем самым высвобождая производительность, поскольку остальная часть имеет более низкое разрешение. Освобожденные ресурсы графического процессора можно использовать для повышения производительности, увеличения разрешения рендеринга или улучшения графических настроек. Он использует тот факт, что наши глаза видят с высоким разрешением только в самом центре центральной ямки.
Наконец, отслеживание взгляда в сочетании с камерами, направленными вниз, отслеживает выражение вашего лица в режиме реального времени, чтобы управлять вашим лицом FaceTime — фотореалистичными аватарами Apple.
Чип R1 для сверхнизкой задержки
Чтобы объединить входные данные со всех этих камер, датчиков и микрофонов, Apple разработала специальный чип, который она назвала R1.
Apple утверждает, что R1 «практически устраняет задержку, передавая новые изображения на дисплеи в течение 12 миллисекунд».
Для сравнения, основатель французского стартапа по производству гарнитур Lynx утверждает, что задержка прохождения Quest Pro составляет 35-60 миллисекунд. Однако неясно, является ли это сопоставимым сравнением.
Цифровая корона AR-VR
Vision Pro имеет только два физических элемента управления, оба сверху. Кнопка для захвата «пространственных видео» и «пространственных фотографий» в любой момент и цифровая корона.
Нажатие цифровой короны вызывает домашний вид системы. Но его поворот определяет ваш уровень погружения, от полного AR до полного VR. Например, если вы пройдете полпути, вы увидите виртуальную реальность перед собой и дополненную реальность позади вас.
На существующих гарнитурах, таких как Quest и Pico 4, сквозной режим является переключаемым, что означает, что вам нужно выбирать между полным погружением и отсутствием погружения. Вместо этого Apple хочет позволить вам выбрать, насколько именно вы будете вовлечены в свое реальное окружение.
Зрение и осведомленность о человеке
Совершенно уникальной особенностью Vision Pro является внешний дисплей, который показывает ваши глаза другим людям в комнате и показывает, насколько вы осведомлены о них. Apple называет эту технологию EyeSight.
Когда вы находитесь в приложении AR, EyeSight показывает цветной рисунок перед вашими глазами, а когда вы находитесь в приложении VR, он показывает только узор, когда ваши глаза невидимы.
Когда кто-то приближается к вам, Vision Pro покажет силуэт этого человека, а EyeSight покажет ему ваши глаза.
Apple назвала обеспечение того, чтобы вы «никогда не были изолированы от окружающих», как одну из своих «основополагающих целей дизайна» для Vision Pro, и компания видит в этом четкое отличие от полностью непрозрачных гарнитур, таких как Quest.
Дисплеи Micro OLED с 23 миллионами пикселей
Vision Pro оснащен двумя панелями micro-OLED с беспрецедентной плотностью пикселей. Apple заявляет, что каждый из них «размером с почтовую марку», но вместе они имеют 23 миллиона пикселей.
Apple не раскрыла точное разрешение, но общее количество пикселей в 23 миллиона предполагает разрешение для каждого глаза около 3400×3400 для квадратного соотношения сторон или около 3200×3600 для соотношения сторон 9:10, обычно используемого в гарнитурах. Однако мы не знаем точного соотношения сторон в Vision Pro.
Apple подтвердила, что дисплеи Vision Pro поддерживают широкую цветовую гамму и высокий динамический диапазон, но не раскрыла подробные характеристики, такие как пиковая яркость.
Чип M2 для «беспрецедентной» производительности
Vision Pro работает на том же чипе Apple Silicon M2, который используется в последних компьютерах Mac.
Apple заявляет, что это обеспечивает «беспрецедентную автономную производительность» и позволяет Vision Pro «поддерживать комфортную температуру и работать практически бесшумно».
По сравнению со слухами о характеристиках чипсета Qualcomm Snapdragon следующего поколения, который будет использовать Quest 3, Apple M2 должен обеспечить примерно на 25% более высокую производительность однопоточного процессора, на 75% более высокую производительность многопоточного и примерно на 15% большую мощность графического процессора.
Однако, не зная точных тактовых частот процессоров в каждой гарнитуре, это лишь очень приблизительное сравнение.
visionOS с управлением руками и глазами
visionOS — это специальная «пространственная операционная система» Apple для Vision Pro и, предположительно, для будущих гарнитур линейки Vision.
Apple описывает visionOS как «знакомую, но новаторскую». Она представляет вам плавающие 2D-приложения, которые вы прокручиваете одним движением пальцев. Вы выбираете пункты меню глазами, просто глядя на них, и используете пальцы, чтобы нажимать на них.
Многие из собственных приложений и сервисов Apple доступны в visionOS, включая Notes, Messages, Safari, Keynote, Photos, FaceTime и Apple Music.
Вместо того, чтобы просто существовать в своем 2D-фрейме, многие приложения Apple «становятся пространственными», занимая пространство вокруг вас. Например, в групповых звонках FaceTime изображение с веб-камеры каждого человека становится отдельным плавающим прямоугольником с пространственным звуком, исходящим от каждого человека. Apple также привела пример возможности вытягивания 3D-моделей из сообщений в реальное пространство.
Vision Pro также позволяет вам без проводов расширить дисплей вашего Mac до огромного виртуального дисплея, просто взглянув на него.
Основное внимание в visionOS уделяется просмотру фильмов и телепередач на огромном виртуальном экране, включая поддержку просмотра 3D-фильмов из библиотеки Apple.
Персонализированное пространственное аудио с трассировкой лучей
На стороне Vision Pro есть «аудио-модули», каждый с двумя драйверами. Apple описывает его как «самую передовую систему пространственного звука».
Если у вас есть iPhone с датчиком TrueDepth FaceID, вы можете отсканировать свое лицо, чтобы включить персонализированное пространственное аудио, при котором система адаптирует звук к геометрии вашей головы и уха для максимально точного пространственного звука.
Vision Pro также использует метод под названием Audio Ray Tracing, при котором он сканирует особенности и материалы вашего пространства, чтобы «точно сопоставить звук с вашей комнатой». Этот метод также используется в динамиках HomePod от Apple.
Apple утверждает, что покупатели Vision Pro будут «полностью убеждены, что звуки исходят из окружающей среды».
Цены и доступность
Apple Vision Pro поступит в продажу в США в начале 2024 года по цене от 3500 долларов. Гарнитура будет доступна онлайн и в Apple Store.
Apple заявляет, что больше стран получат Vision Pro «позже в следующем году», но не раскрывает, какие именно страны.
