Автономная гарнитура Oculus Quest была запущена на этой неделе. В сообщении Facebook технический директор Facebook Майк Шрепфер показал, что у компании изначально были » энергичные дебаты” о том, будет ли продукт вообще существовать:
«Я помню энергичные дебаты о том, можно ли создать такой продукт вообще. Встроенное отслеживание находилось в стадии исследования, и идея сделать устройство на мобильном чипе казалась невозможной многим. Теперь же мы видим рабочий продукт».
Шрепфер подчиняется непосредственно Марку Цукербергу. Даже вице-президент Facebook по VR / AR Эндрю Босворт сообщает Шрепферу всю информацию, а не Цукербергу напрямую.
Эта цитата намекает на длительный цикл создания Quest, продукта, который разрабатывался в течение многих лет, опираясь на прорывные технологии, которые не существовали, когда он был задуман:
«Oculus Quest находится в процессе создания уже более трех лет, но такой продукт, как он, был общей целью Oculus намного дольше».
В видеоинтервью с Kotaku в 2012 году (еще до формального присоединения к Oculus) CTO Джон Кармак описал гарнитуру, которая будет использовать “оборудование для мобильных телефонов” и камеры для позиционного отслеживания, без проводов. В 2013 году в интервью Endaget, теперь в Oculus, Кармак даже описал эту идеальную гарнитуру как версию под управлением Android.
Когда оборудование Rift и Touch было завершено в 2015 году, Oculus начал амбициозный проект. Цель состояла в том, чтобы довести тот же опыт Rift+Touch, минус некоторая графическая точность, до полностью автономной гарнитуры. Проект получил название » Project Santa Cruz». Как заявил Шрепфер на этой неделе, и как заявил Шон Лю на Oculus Connect 4, многие в Facebook думали, что это невозможно.
ВСТРОЕННОЕ ОТСЛЕЖИВАНИЕ: ИССЛЕДОВАТЕЛЬСКАЯ ПРОБЛЕМА
Одной из самых больших проблем проекта Santa Cruz было получение высокоточного встроенного отслеживания для гарнитуры и двух контроллеров, работающих на мобильном оборудовании. На самом деле, запустить его вообще было нерешенной проблемой с самого начала.
В то время как сегодня существуют другие автономные гарнитуры с встроенным отслеживанием головы (кроме Quest), которые также используют камеры для отслеживания контроллеров. HTC Vive Focus Plus оснащен контроллерами 6DoF, но они отслеживаются с помощью ультразвукового оборудования, а не программного обеспечения для компьютерного зрения. Как и Lenovo Mirage Solo, камеры на Focus Plus используются только для самой гарнитуры.
Microsoft представила встроенный трекинг на рынок VR с Windows MR в конце 2017 года, но он зависел от вычислительной мощности ПК.
Еще когда проект Santa Cruz начал демонстрировать высококачественное встроенное отслеживание, тогда это считалось областью исследований, а не готовой технологией. Чтобы создать команду для ее решения, Oculus приобрел ряд стартапов в области компьютерного зрения, включая 13th Lab и Surreal Vision.
ВСТРОЕННОЕ ОТСЛЕЖИВАНИЕ: ВОЗМОЖНО ЛИ НА МОБИЛЬНОМ ТЕЛЕФОНЕ?
Незадолго до Oculus Connect 2 в 2015 году основатель Oculus Палмер Лакки заявил:
«Встроенный трекинг в настоящее время не работает на мобильных устройствах».
В ходе конференции Кармак подробно остановился на сложности этой проблемы и подверг критике исследовательскую направленность компании на оптимизацию базовой технологии для мобильного оборудования:
«Это не выглядит хорошо для создания встроенной системы отслеживания, которая не потребляет много энергии батареи. У нас есть 30 экспертов по компьютерному зрению в Oculus из разных компаний, которые мы приобрели, и никто из них не хочет просто решить эту проблему. Они все работают над своими эзотерическими, своего рода исследовательскими вещами, в то время как это проблема, которую я хочу решить прямо сейчас. Жаль, что никто не потратил на него весь прошлый год».
Отслеживание на автономной гарнитуре было бесполезно, если она разряжала батарею за считанные минуты. Но Кармак и другие в Oculus продолжали работать, и к февралю 2016 года технический директор тратил “большую часть” своего времени на позиционное отслеживание.
АППАРАТНОЕ УСКОРЕНИЕ, АКТИВНОЕ ОХЛАЖДЕНИЕ
В то время в начале 2016 года цель Кармака для отслеживания наизнанку, казалось, заключалась в том, чтобы довести его до Gear VR, мобильного решения VR, в ходе создания которого Oculus сотрудничал с Samsung. Новые гипотетические будущие продукты – это одно, но опыт Gear VR может быть радикально улучшен с помощью позиционного отслеживания.
К сожалению, позиционное отслеживание никогда не пришло в Gear VR (по крайней мере, официально). В первую очередь из-за проблем, которые Кармак выделил в Oculus Connect 2. Однако другой проблемой является охлаждение.
Основным недостатком Gear VR было то, что он часто перегревался во время игрового процесса, заставляя систему отключаться. Это может произойти очень быстро, в зависимости от того, насколько игра напрягла систему. Запуск игры VR, камеры и передовые алгоритмы компьютерного зрения сразу сделают эту проблему еще глобальнее.
Quest использует два метода для преодоления этих проблем.
Благодаря тесному партнерству с Qualcomm, созданному для Gear VR, а затем Oculus Go, Oculus смог закодировать отслеживание для работы на Hexagon DSP, а не на CPU. Смартфоны в основном используют DSP для улучшения фотографий, сделанных их камерами, а Quest использует его для отслеживания в VR. Oculus подтвердил, что позиционное отслеживание «не влияет» на производительность приложений VR.
Для решения проблемы перегрева Quest использует активный вентилятор охлаждения. Это редко когда делалось с процессорами ARM. Apple TV 4K и HTC Vive Focus – единственные экземпляры на потребительском рынке, о которых мы знаем (и последний технически для предприятия).
ЭРА MONARCH
В то время как проблема с мобильным отслеживанием решалось, другие в Oculus разрабатывали аппаратное обеспечение. Первой задачей было выяснить, какое оборудование потребуется. Сколько камер и в каком положении? Один из первых функциональных прототипов был назван Monarch, на который ссылались в разговоре в OC5. Monarch был доказательством концепции, которая достигалась с помощью больших камер компьютерного зрения.
Затем команда работала над миниатюризацией этого и поиском оптимального размещения камеры. Это привело к конфигурации, увиденной сегодня.
ЭРА SANTA CRUZ
На Oculus Connect 3 в конце 2016 года Oculus раскрыл существование проекта Santa Cruz и продемонстрировал членам прессы данную гарнитуру.
Передняя часть гарнитуры была по существу просто Rift с добавленными камерами. Батарея, процессор и все прочее мобильное оборудование находились сзади, за головой. Неясно, почему именно Oculus принял решение поставить оборудование спереди, но это, вероятно, связано с стоимостью и невозможностью откинуться назад.
OCULUS CONNECT 4: КОНТРОЛЛЕРЫ
На Oculus Connect 4 в конце 2017 года Oculus показал, что последняя крупная веха в развитии проекта Santa Cruz была пересечена – теперь у шлема виртуальной реальности были позиционно отслеживаемые контроллеры.
Контроллеры напоминали сенсорные контроллеры Rift, но с отслеживающим кольцом, обращенным вверх, а не вниз. Как и оригинальный сенсорный, они отслеживались не только с помощью ИК-светодиодов под кольцом отслеживания, но и с помощью камер на гарнитуре.
Как ни странно, Oculus предпочел заменить кнопки и большой палец трекпадом. Это решение вызвало критику как со стороны разработчиков, так и поклонников. Большие пальцы были одной из любимых особенностей Touch, и разработчики уже построили свои схемы управления вокруг этого элемента. Но, если бы это решение было принято, им пришлось бы разработать отдельные схемы управления Rift и Santa Cruz.
На GDC 2018 Oculus объявил, что это решение было отменено. Santa Cruz теперь будет иметь те же входные элементы, что и Rift.
РЕЛИЗ
Через семь лет после того, как Джон Кармак впервые изложил цель, и почти три года с тех пор, как гарнитура без контроллеров была впервые показана, Oculus Quest теперь является продуктом за 399 долларов, который вы можете купить на Best Buy или Amazon.
Усилия по разработке этого продукта создали новую категорию устройств VR, переопределив рынок VR, который ранее был между не интерактивным мобильным и интерактивным ПК. Насколько хорошо Quest разойдется среди потребителей, еще предстоит увидеть, но кажется бесспорным, что standalone-шлем станет важной частью будущего VR.
Оставайтесь в курсе последних новостей вместе с VRGeek.
Далее: SteamVR добавляет поддержку Valve Index для видеокарт AMD
