Инженеры Университета Ватерлоо разрабатывают новую технологию, которая использует жесты для выполнения команд на компьютере.
Прототип, названный Typealike, работает, считывает данные с веб-камеры ноутбука, к которой крепится зеркало.
Программа распознает руки пользователя, когда они появляются рядом с клавиатурой, и выполняет команды в зависимости от положения кистей.
Пользователь может, например, положить правую руку большим пальцем вверх рядом с клавиатурой, и программа распознает это как сигнал увеличить громкость (или поставить лайк в соцсетях для понравившейся фотографии или материала).
Как сообщают разработчики, различные жесты и комбинации жестов могут быть запрограммированы для выполнения широкого спектра операций.
Эта инновация в области взаимодействия человека с компьютером направлена на то, чтобы сделать работу пользователей более быстрой и вместе с тем плавной, чтобы реже требовалось запоминать сочетания клавиш или было проще работать с мышью или трекпадом.
«Всё началось с простой идеи о новых способах использования веб-камеры, - рассказала Налин Чиббер, недавняя выпускница магистратуры Школы компьютерных наук при университете Ватерлоо. - Веб-камера обычно направлена на наше лицо, но наибольшее взаимодействие с компьютером может происходит вокруг ваших рук. Мы решили подумать, что мы могли бы сделать, если бы веб-камера смогла улавливать жесты?»
Первоначальное идея привела к разработке небольшого механического приспособления, которое перенаправляет веб-камеру вниз, к рукам. Затем программисты создали софт, способный понимать различные жесты рук в различных условиях и для разных пользователей. Команда использовала методы машинного обучения для обучения программы Typealike.
«Это нейронная сеть, поэтому нам нужно показать примеры алгоритмов того, что вы пытаетесь обнаружить, — рассказал Фабрис Матулик, старший научный сотрудник Preferred Networks Inc. - Все люди жестикулируют немного по-разному, а руки различаются по размерам, поэтому нам нужно собрать много данных от разных людей и при разном освещении».
Команда в итоге создала базу данных жестов десятков добровольцев-исследователей. Учёные также опросили добровольцев при помощи тестов и опросников, чтобы лучше понять, как сделать программу максимально функциональной и универсальной.
«Мы всегда стремимся создавать вещи, которыми люди могут легко пользоваться, - сказал Дэниель Фогель, доцент кафедры информатики Университета Ватерлоо. - Люди смотрят на что-то вроде Typealike или другую новую технологию в области взаимодействия человека и компьютера, и они говорят, что это им полезно. Это то, чего мы хотим добиться. Мы хотим сделать технологию интуитивно понятной и простой, но иногда для этого требуется много сложных исследований и разработка сложного программного обеспечения».
Исследователи говорят, что есть и другие приложения для программы Typealike. Например, в виртуальной реальности, где она может устранить необходимость в ручных контроллерах.
Описание разработки было недавно опубликовано в журнале ACM Human Computer Interaction.
Мы пишем про достижения науки, суперсовременные технологии и их внедрение, рассказываем о том, каким будет будущее. Если вам нравятся наши новости, подписывайтесь на наш канал и не забывайте ставить лайки. Эти нехитрые действия помогают нам в развитии и сборе средств для финансирования проекта.
Также наши сообщества есть в Telegram, twitter, ВК, Facebook, "Одноклассниках". Приходите, если вы бываете там чаще, чем на Дзене. Ищите нас по названию "Восемь красных линий".