Когда человек постукивает пальцами, каждый палец создает разный профиль вибрации, распространяющийся на запястье через кости. Исследователи ETH Zurich теперь использовали это открытие при разработке браслета с двумя датчиками, который обеспечивает интуитивно понятное взаимодействие от руки в виртуальном рабочем пространстве.
Возможности моделирования окружающей среды в сочетании с такими технологиями, как очки виртуальной реальности, практически безграничны. Однако системы VR по-прежнему редко используются в повседневных приложениях. «Сегодня виртуальная реальность используется в основном для потребления контента. В случае приложений для повышения производительности, например, в офисных сценариях, виртуальная реальность по-прежнему имеет большой потенциал для развития, чтобы заменить существующие настольные компьютеры», - говорит Кристиан Хольц, профессор Цюрихского института интеллектуального взаимодействия. Действительно, существует огромный потенциал: если бы контент больше не ограничивался экраном.
Каждый палец вызывает разные профили вибрации
Что мешает этому стать реальностью? Хольц считает, что основная проблема заключается во взаимодействии между людьми и технологиями. Например, большинство современных приложений виртуальной реальности работают либо с контроллерами, которые держат в руке пользователя, либо с поднятыми руками, так что положение может быть зафиксировано камерой. Пользователь также обычно стоит во время взаимодействия. «Если вам все время приходится держать руки вверх, это быстро утомляет», - говорит Хольц. «В настоящее время это препятствует тому, чтобы нормальные рабочие процессы стали возможными, поскольку они требуют взаимодействия с приложениями в течение нескольких часов». Например, набор текста на виртуальной клавиатуре представляет собой другую проблему: пальцы двигаются незначительно, и камеры не могут фиксировать движение так же точно, как это делают современные механические клавиатуры.
По этой причине исследовательской группе Хольца ясно, что пассивные интерфейсы останутся важными для жизнеспособного и продуктивного внедрения технологии виртуальной реальности. Это может быть классическая столешница, стена или собственное тело человека. Для оптимального использования исследователи разработали сенсорную технологию TapID, которую они представят на конференции IEEE VR в конце марта. В прототипе в обычный резиновый браслет встроено несколько датчиков ускорения.
Эти датчики определяют, когда рука касается поверхности и каким пальцем пользовался человек. Исследователи обнаружили, что их новая конструкция датчика может обнаруживать крошечные различия в профиле вибрации на запястье, чтобы различать каждое характерное движение пальца. Разработанный исследователями специализированный конвейер машинного обучения обрабатывает собранные данные в режиме реального времени. В сочетании с системой камер, встроенной в набор очков VR, которая фиксирует положение рук, TapID генерирует чрезвычайно точный ввод. Исследователи продемонстрировали это в нескольких приложениях, которые они запрограммировали для своей разработки, включая виртуальную клавиатуру и пианино.
Виртуальное пианино с помощью умных часов
Виртуальное пианино особенно хорошо демонстрирует преимущества TapID, объясняет Хольц: «Здесь важны как пространственная точность, так и время. Момент прикосновения к клавишам должен фиксироваться с максимальной точностью. Сенсоры на запястье могут это сделать. надежнее, чем фотоаппарат ". Относительно простая технология, используемая нашей системой, дает несколько преимуществ; например, изготовление браслета такого типа должно стоить всего несколько франков.
Исследовательская группа также сравнила свою систему с существующей технологией: в технической оценке с участием 18 участников им удалось показать, что TapID не только надежно работает со специально разработанной электроникой в браслете, но этот метод также можно перенести на существующие фитнес-браслеты и повседневную жизнь. Забегая вперед, исследователи планируют продолжать совершенствовать технологию с большим количеством испытуемых и разрабатывать больше приложений для интеграции TapID в сценарии повышения производительности и поддержки офисов будущего.