![Технология EgoTouch превращает ладонь в виртуальный контроллер [ВИДЕО]](https://avatars.dzeninfra.ru/get-zen_doc/271828/pub_6738df0654ab8259b4301f51_6738df0d54ab8259b4302377/scale_1200)
Группа инженеров из Института взаимодействия человека и компьютера Университета Карнеги — Меллона задалась целью сделать удобный способ управления внутри виртуальной или дополненной реальности. По их мнению, проще всего использовать для этого руки.
Предыдущие исследования показали, что размещение на теле пользователя виртуальных интерфейсов, подобных тому, что мы видим на сенсорных экранах смартфонов, обеспечивает высокую скорость, точность и удобство по сравнению с использованием жестов в воздухе. Но для реализации такого подхода требуются специальные камеры глубины, способные точно отслеживать в пространстве положение части тела, на которой отображается виртуальный интерфейс. Технология EgoTouch позволяет обойтись обычной камерой.
Идея заключается в том, что когда палец пользователя нажимает на ладонь, камера улавливает возникающие тени и деформации кожи. Сопоставляя местоположения этих визуальных индикаторов с виртуальным интерфейсом, отображаемым на ладони, можно определить, что человек хочет сделать. Для обучения алгоритма разработчики попросили группу добровольцев нажимать указательным пальцем на различные места на ладони, надев на голову камеру. При этом на пальце разместили датчик касания. Сопоставляя эти данные, нейросеть научилась понимать, какие движения и изменения на ладони соответствуют каким местоположениям, интенсивности и продолжительности прикосновения.
В ходе тестов технология EgoTouch показала точность на уровне 96% при обнаружении прикосновения к ладони и 98% при определении силы этих прикосновений.