Носимая технология использует повседневные жесты для надёжного управления роботизированными устройствами даже при чрезмерном шуме движения, например, при беге, езде в автомобиле или в условиях турбулентности.
Инженеры из Калифорнийского университета в Сан-Диего разработали носимую систему следующего поколения, которая позволяет людям управлять машинами с помощью повседневных жестов — даже при беге, езде в автомобиле или плавании на бурных океанских волнах.
Система, опубликованная в журнале Nature Sensors, сочетает растяжимую электронику с искусственным интеллектом, чтобы преодолеть давнюю проблему носимых устройств: надёжное распознавание жестовых сигналов в реальной среде. Статья называется «Шумоустойчивый интерфейс человек-машина, основанный на носимых сенсорах с усовершенствованными глубокими методами обучения».
Носимые технологии с датчиками жестов работают нормально, когда пользователь сидит неподвижно, но сигналы начинают разрушаться из-за чрезмерного шума движения, объяснил соавтор исследования Сянцзюнь Чэнь, постдокторант кафедры химической и наноинженерии семьи Айсо Юфэн Ли в Инженерной школе Джейкобса Калифорнийского университета в Сан-Диего. Это ограничивает их практичность в повседневной жизни.
«Наша система преодолевает это ограничение», — сказал Чен. «Интегрируя ИИ для очистки шумных данных сенсоров в реальном времени, технология позволяет повседневным жестам надёжно управлять машинами даже в динамических условиях.»
Потенциальные применения для промышленности и потребителей
Технология может позволить, например, пациентам в реабилитации или людям с ограниченной подвижностью, использовать естественные жесты для управления роботизированными средствами без зависимости от мелкой моторики.
Промышленные работники и экстренные службы могут использовать эту технологию для управления инструментами и роботами без рук в условиях высокой скорости движения или опасных условий. Он даже позволит водолазам и дистанционным операторам управлять подводными роботами несмотря на турбулентные условия. В потребительских устройствах система могла бы сделать управление жестами более надёжным в повседневных условиях.
Работа была результатом сотрудничества лабораторий Шэн Сюя и Джозефа Вана, оба профессора кафедры химической и наноинженерии семьи Айисо Юфэн Ли в Инженерной школе Джейкобса Калифорнийского университета в Сан-Диего.
Насколько известно исследователям, это первый носимый интерфейс человек-машина, который надежно работает при широком спектре нарушений движения. В результате это может работать с тем, как люди действительно двигаются.
Как работает устройство и как было протестировано
Устройство представляет собой мягкую электронную нашивку, приклеенную к тканевой повязке. Он объединяет датчики движения и мышц, микроконтроллер Bluetooth и растягиваемый аккумулятор в компактную, многослойную систему.
Система была обучена на основе составного набора данных реальных жестов и условий — от бега и тряски до движения океанских волн. Сигналы от руки захватываются и обрабатываются с помощью индивидуальной системы глубокого обучения, которая устраняет помехи, интерпретирует жест и в реальном времени передаёт команду для управления машиной — например, роботизированной рукой.
«Этот прогресс приближает нас к интуитивно понятным и надёжным интерфейсам человек-машина, которые можно использовать в повседневной жизни», — сказал Чен.
Система проходила испытания в различных динамических условиях. Испытуемые использовали устройство для управления роботизированной рукой во время бега, подвергаясь высокочастотным вибрациям и сочетанию различных воздействий.
Устройство также прошло валидацию в смоделированных океанических условиях с помощью симулятора исследований океана и атмосферы Scripps в Институте океанографии Scripps при Калифорнийском университете в Сан-Диего, который воссоздал как лабораторное, так и реальное морское движение. Во всех случаях система обеспечивала точную работу с низкой задержкой.
Более широкие последствия для носимых технологий
Изначально этот проект был вдохновлён идеей помочь военным водолазам управлять подводными роботами. Но вскоре команда поняла, что помехи от движения — это не просто проблема, характерная только для подводных сред. Это распространённая проблема в области носимых технологий, которая долгое время ограничивала производительность таких систем в повседневной жизни.
«Эта работа устанавливает новый метод шумостойкости в носимых датчиках», — сказал Чен. «Это прокладывает путь для носимых систем следующего поколения, которые не только растягиваются и беспроводные, но и способны учиться в сложных условиях и в отдельных пользователях.»