Шлемы дополненной (AR) и смешанной (MR) реальности позволяют нам видеть окружающий мир с наложенными на него виртуальными элементами. Многие такие устройства отслеживают жесты, что дает возможность управлять устройствами, в том числе вводить данные на виртуальной клавиатуре.
Эта технология, еще недавно казавшаяся научной фантастикой, не лишена недостатков. Для считывания информации нужны специальные контроллеры или отдельные камеры, долго держать руки на весу тяжело, а пальцы не получают тактильной отдачи от нажатий.
В Университете Тохоку нашли способ превратить в клавиатуру любую поверхность, причем не требующий никакого дополнительного оборудования. Разработка представлена на 33-й конференции IEEE по виртуальной реальности и трехмерным пользовательским интерфейсам, проходившей в Южной Корее с 21 по 25 марта.
В основе метода — естественная реакция наших пальцев на нажатия. Если попробовать надавить на твердую поверхность, например на стол, можно заметить, как ноготь белеет. Это побледнение фиксируется камерой в шлеме и анализируется с помощью нейросети, чтобы определить момент касания пальцем поверхности.
«Благодаря этой разработке любые окружающие нас поверхности — стены, столы или перегородки — могут использоваться как сенсорная область для ввода. Более того, этот метод не требует специальных датчиков, маркеров или дополнительных устройств. Любой может легко им пользоваться», — говорит руководитель исследования Чжао Гуанхань.
Для реализации идеи нейросеть обучили правильному пониманию побледнения пальцев и разработали вспомогательный программный интерфейс. Испытания показали, что система надежно фиксирует касания пальцев на различных распространенных типах поверхностей. Участники смогли уверенно вводить текст, а взаимодействие с опорой на поверхность позволяло им при этом держать руки расслабленными.
«Нашей главной целью было создать технологию, которая обеспечивает сенсорный ввод на любых физических поверхностях для AR и MR без специализированного оборудования. Это делает такие устройства удобнее в использовании и способствует более широкому внедрению технологий дополненной и смешанной реальности в повседневной жизни», — заключил исследователь.
Новая технология превращает в клавиатуру любой предмет — видео
Разработано кольцо для управления виртуальной реальностью — видео
Подписывайтесь и читайте «Науку» в MAX