Ведущий автор Маршалл Траут (справа) работал с четырьмя ампутантами, чтобы изучить, как ИИ может быть использован для автономного управления продвинутым протезом. Протез на базе искусственного интеллекта мог разумно работать вместе с ампутантами, повышая ловкость и делая протез более интуитивным в использовании.
Будь то кружка, карандаш или чья-то рука, вам не нужно сознательно указывать каждому пальцу, куда им нужно идти, чтобы правильно захватить.
Потеря этой внутренней способности — одна из многих проблем, с которыми сталкиваются люди с протезированными руками и кисти. Даже с самыми современными роботизированными протезами эти повседневные действия сопровождаются дополнительной когнитивной нагрузкой, поскольку пользователи целенаправленно раскрывают и зажимают пальцы вокруг цели.
Исследователи из Университета Юты сейчас используют искусственный интеллект для решения этой проблемы. Интегрировав датчики близости и давления в коммерческую бионическую руку, а затем обучая искусственную нейронную сеть захватывающим позам, исследователи разработали автономный подход, более похожий на естественный, интуитивный способ захвата объектов.
Работая совместно с искусственным интеллектом, участники исследования демонстрировали большую безопасность захвата, большую точность и меньшие умственные усилия.
Исследователи оснастили коммерческую протезную руку индивидуальными кончиками пальцев. Помимо обнаружения давления, эти кончики пальцев были оснащены оптическими датчиками близости, способными «видеть» объекты до того, как они коснутся руки. Эти датчики позволяют протезу с поддержкой искусственного интеллекта автономно захватывать объекты.
Ключевым стало то, что участники могли выполнять множество повседневных задач, таких как поднять мелкие предметы и поднять чашку, используя разные стили хватки, и всё это без обширных тренировок и практики.
Исследование возглавляли профессор инженерии Джейкоб А. Джордж и Маршалл Траут, постдокторант в Лаборатории нейроробототехники Юты, и опубликовано в журнале Nature Communications.
«Несмотря на то, что бионические руки становятся реалистичными, управлять ими всё ещё непросто и интуитивно», — сказал Траут. «Почти половина всех пользователей отказываются от протеза, часто ссылаясь на плохое управление и когнитивную нагрузку.»
Одна из проблем в том, что большинство коммерческих бионических рук и костей не способны воспроизвести ощущение осязания, которое обычно даёт нам интуитивные, рефлексивные способы захвата объектов. Ловкость — это не просто вопрос сенсорной обратной связи.
У нас также есть подсознательные модели, которые моделируют и предвосхищают взаимодействие руки и предметов; «Умная» рука также должна со временем освоить эти автоматические реакции.
Учёные из Юты решили первую проблему, оснастив искусственную руку, изготовленную компанией TASKA Prosthetics, индивидуальными кончиками пальцев. Помимо обнаружения давления, эти кончики пальцев были оснащены оптическими датчиками близости, предназначенными для передачи наилучшего ощущения осязания. Например, пальцы могли зафиксировать практически невесомый ватный шарик, падающий на них.
Для второй задачи они обучили модель искусственной нейронной сети на данных близости, чтобы пальцы естественным образом двигались на нужное расстояние для идеального захвата объекта. Поскольку у каждого пальца свой собственный датчик и он может «видеть» перед собой, каждый палец работает параллельно, чтобы создать идеальное, стабильное захват любого объекта.
Но одна проблема оставалась. А что если пользователь не собирался захватывать объект именно таким образом? А что если, например, они захотят открыть руку, чтобы уронить предмет?
Чтобы решить этот последний элемент головоломки, исследователи создали биовдохновлённый подход, который включает разделение контроля между пользователем и агентом ИИ. Успех подхода основывался на поиске правильного баланса между управлением человеком и машиной.
«Мы не хотим, чтобы пользователь боролся с машиной за контроль. В отличие от этого, здесь машина улучшила точность пользователя и одновременно упростила выполнение задач», — сказал Траут. "По сути, машина усиливала их естественный контроль, чтобы они могли выполнять задачи, не задумываясь о них."
Исследователи также провели исследования с четырьмя участниками, у которых ампутации расположены между локтем и запястьем. Помимо улучшения результатов на стандартизированных заданиях, они также попробовали выполнять несколько повседневных занятий, требующих контроля мелкой моторики. Простые задачи, такие как пить из пластикового стакана, могут быть чрезвычайно сложными для ампутанта; Если сжать слишком мягко — уронишь, а если слишком сильно — сломаешь.
«Добавив немного искусственного интеллекта, мы смогли переложить этот аспект захвата на сам протез», — сказал Джордж. «В итоге получается более интуитивное и более ловкое управление, что позволяет простым задачам снова стать простыми.»
Джордж занимает должность профессора Solzbacher-Chen в кафедре электротехники и компьютерной инженерии Колледжа Джона и Марсии Прайс и кафедре физической медицины и реабилитации Медицинской школы Спенсера Фокса Экклза.
Эта работа является частью более широкой цели Utah NeuroRobotics Lab по улучшению качества жизни ампутантов.
«Исследовательская группа также изучает имплантированные нейронные интерфейсы, которые позволяют людям управлять протезами силой мысли и даже получать ощущение осязания при восстановлении этого», — сказал Джордж.
«Следующие шаги — команда планирует объединить эти технологии, чтобы их усовершенствованные сенсоры могли улучшить тактильную функцию, а интеллектуальный протез мог бесшовно сочетаться с управлением, основанным на мысли.»