VR-разработчик интегрировал экспериментальный Lip Tracker от HTC («трекер губ») в свое социальное VR-приложение и продемонстрировал, что с ним возможно сделать.
Tomáš Mariančík под ником Frooxius работает над своим приложением для виртуальной реальности Neos VR с 2016 года, которое он называет «творческой социальной VR-песочницей». В нем пользователи могут играть, строить вещи, работать или просто проводить время вместе.
Особенностью платформы является широкая поддержка аппаратного и программного обеспечения для отслеживания. Следующее видео демонстрирует отслеживание всего тела с помощью восьми трекеров Vive. Они прикреплены к груди, локтям, бедрам, коленям и ступням.
Движения пальцев считываются с помощью контроллеров Valve Index, движения глаз — в очках HTC Vive Pro Eye. В результате получился особенно выразительный аватар.
HTC экспериментирует с отслеживанием лица
Однако для Frooxius и этого оказывается мало. В настоящее время разработчик виртуальной реальности работает над поддержкой Lip Tracker от HTC (трекер губ). Весной 2019 года на GDC был анонсирован Vive Pro Devkit, целевой группой которого являются разработчики и исследователи.
Frooxious показывает результаты своих экспериментов на Reddit и Twitter.
Модуль фиксирует больше, чем следует из названия: разработчик показывает зубы, высовывает язык и раздувает щеки, и все это передается в симуляцию виртуальной реальности в реальном времени. Это делает его человеческий или животный аватар еще более реалистичным.
Больше социального присутствия
Реальная запись и видео VR были синхронизированы, но задержка является максимально низкой. Отслеживание является «достаточно надежным», если модуль имеет четкое расположение напротив области рта.
Разработчик получает положительные отзывы: с тех пор, как он начал использовать отслеживание глаз и губ, пользователи VR стали обращаться к нему.
«Людям нравится, когда происходит что-то смешное, а я улыбаюсь в виртуальной реальности. Или они говорят мне, чтобы я ложился спать, когда я зеваю», — пишет Фроксиус на Reddit.
Неизвестно, когда технология попадет в очки VR. Во всяком случае, её следует сначала использовать в устройствах B2B, таких как Vive Pro Eye.
NeosVR все еще находится в раннем доступе и доступно бесплатно в Steam. В статье Steam Frooxius описывает, какие другие функции ожидают пользователей в 2020 году.