Найти тему
CyberMonk

Технологии машинного обучения могут совершить революцию во взаимодействии с VR

Исследователи Кембриджского университета разработали программу, позволяющую работать с 3D моделями используя жесты пользователя. Технология получила название «Горячие Жесты» (ориг. «HotGestures») по аналогии с горячими клавишами.

Виртуальная реальность (VR) уже долгие года подавалась как веха в развитии взаимодействия с виртуальным пространством, но за пределами игрового аспекта VR эти маркетинговые обещания не были выполнены.

«Мы хотели взять концепт горячих клавиш и превратить его во что-то более походящее для VR – что-то, не требующее от пользователя знать сочетания клавиш.» - сказала руководитель исследований профессор Пер Ола Кристенсон.

Как замену горячим клавишам Кристенсон и коллеги разработали «Горячие Жесты», благодаря которым пользователи смогут управлять набором инструментов не разрывая контакт с виртуальным окружением.

Для исследования ученые создали систему распознавания жестов на основе нейронной сети, которая может распознавать жесты, выполняя прогнозы по входящему потоку данных о движениях рук. Система пока может распозновать десять различных жестов, связанных с созданием 3D-моделей: ручка, куб, цилиндр, сфера, палитра, распыление, вырезание, масштабирование, дублирование и удаление.

Фрагмент демонстрационного видео с официального канала университета Кебриджа
Фрагмент демонстрационного видео с официального канала университета Кебриджа

«На протяжении десятилетий у нас был метод настолько же устаревший, как картотечный шкаф. Нам нужны новые способы взаимодействия с VR, и мы думаем, что сделали большой шаг в этом направлении.» - заключила Кристенсон.