Сфера применения мягких роботов остается ограниченной из-за того, что они не обладают тактильными ощущениями, а также, как правило, лишены ощущения положения своих пальцев (проприоцепции). Исследователи из Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института создали инструменты, которые позволят роботам лучше воспринимать то, с чем они взаимодействуют.
«Мы хотим дать возможность увидеть мир, чувствуя его. Мягкие руки робота имеют сенсорную кожу, которая позволяет им подбирать различные предметы, от деликатных, таких как картофельные чипсы, до тяжелых, таких как бутылки с молоком», — говорит директор CSAIL Даниэла Рус.
Команда разработала тактильные датчики, изготовленные из латексных «пузырей» (баллонов), соединенных с датчиками давления. Они позволяют классифицировать объекты при захвате мягкой роборукой. При тестах датчики правильно определили 10 объектов с точностью более 90%, даже если сам объект в итоге выскользнул из роборуки.
По словам сотрудника МТИ Джози Хьюза, новые датчики можно быстро изготовить и модифицировать в чувствительные и надежные захваты. Он выразил надежду, что их можно будет применять для широкого спектра различных операций в производственных условиях, таких как упаковка и подъем объектов.
Затем группа исследователей создала мягкий роботизированный палец под названием GelFlex, который использует встроенные камеры и глубокое обучение для обеспечения тактильного восприятия с высоким разрешением и проприоцепции.
Захват основан на механизме, схожем с работой сухожилий для приведения в действие пальцев. При тестировании на металлических предметах различной формы система распознавала их с точностью более 96%.
«Наш мягкий палец может обеспечить высокую точность проприоцепции и точно воспринимать захваченные объекты, а также выдерживать значительное воздействие, не нанося вреда взаимодействующей среде и самому себе», — говорит Ю Ше, ведущий автор новой статьи о GelFlex.
Команда использовала встроенные камеры с широкоугольными объективами типа «рыбий глаз», которые детально фиксируют деформации пальца. Для разработки GelFlex задействовали силиконовый материал. Одну камеру поместили рядом с кончиком пальца, а другую — в его середине. Чтобы камеры могли наблюдать за состоянием передней и боковой поверхности пальца, в него встроили светодиодные фонарики.
В дополнение к датчику команда также разработала алгоритм, который использует обратную связь, чтобы позволить захватчику получить человеческие свойства силы и точности. Одна нейронная сеть была обучена предсказывать угол изгиба GelFlex, а другая обучалась оценивать форму и размер захватываемых объектов. В 80% случаев тестируемые объекты были успешно захвачены без повреждений.
Команда проверила датчики-захваты на множестве предметов домашнего обихода, начиная от тяжелых бутылок и до маленьких и деликатных предметов, включая банки, яблоки, зубную щетку, бутылку с водой и упаковку печенья.
Ранее исследователи МТИ показали «сенсорную» кожу, которая поможет мягким роботам понять свое расположение в трехмерном пространстве. В разработке задействовали гибкие датчики и систему искусственного интеллекта. Новая модель глубокого обучения просеивает шум и фиксирует четкие сигналы для оценки трехмерной конфигурации.