Исследователи из Facebook Reality Labs хотят, чтобы вы могли управлять приложениями смешанной реальности с помощью объекта, который вы держите в руках.
Исследовательская группа, состоящая из членов Facebook Reality Labs и Университета Британской Колумбии (Канада), хочет облегчить вашу жизнь в будущем и сделать книги и фломастеры устройством ввода с помощью отслеживания рук.
Использовать повседневные объекты в качестве контроллеров
С системой «Gripmarks» повседневный объект станет устройством ввода для смешанной реальности. Таким образом, вам не понадобится контроллер и вместо него вы используете объект, который держите в руке.
Это должно работать следующим образом: вы берете, например, банку газированной воды в руку. Очки AR или очки VR отслеживают положение вашей руки, а программное обеспечение сравнивает точки захвата пальцев с сохраненными рисунками захвата. Если он обнаруживает положение рукоятки, в этом случае он вычисляет цилиндрический объект без необходимости непосредственно записывать и отслеживать его.
С другой стороны, вы выполняете жест активации на объекте, аналогично управлению жестами на вашем смартфоне. Таким образом определяется местоположение и размер виртуального поля ввода, которое должно появиться на объекте.
Теперь у вас есть панель управления медиаплеером или клавиши калькулятора прямо на объекте. В итоге, вы на самом деле держите в руке банку и ощущаете тактильное сопротивление, в то время как вы также видите цилиндрический пульт дистанционного управления с полем ввода практически или в режиме виртуальной реальности.
Различные методы ввода должны стать возможными с помощью Gripmarks
В дополнение к двуручному управлению, также возможен ввод только одной рукой. В качестве примеров исследовательская группа приводит в своем отчете бутылку с распылителем и фломастер. Если вы держите ручку в руке, проведите пальцем влево и вправо или нажмите, чтобы подтвердить ввод.
Например, с помощью распылителя вы нацеливаетесь на виртуальную кнопку и нажимаете на рычаг распылителя, чтобы активировать ее. До сих пор система распознавала пять схем захвата: захват книги или кошелька, цилиндрический предмет, форма пистолета, например, бутылку с распылителем, захват фломастера и предмет формы яблока.
Пока что Gripmarks работает только с захватом движения
Команда демонстрирует новый принцип контроллера с приложением VR и Oculus Rift S, а также с системой отслеживания рук, основанной на захвате движения. Так что, если вы надеетесь стрелять из игрушечного пистолета в качестве контроллера VR в Arizona Sunshine, придётся подождать.
Однако исследовательская группа хочет сделать свою систему более практичной. На следующем этапе разработки Gripmarks будут работать только с сенсорными перчатками и оптическим отслеживанием inside-out.