Осязание — критически важный элемент для понимания реального мира. Если визуальный и аудиальный тип восприятия люди научились воспроизводить достаточно давно, то генерировать тактильную информацию, чтобы передать ощущение осязания, веса и жёсткости, воздействуя на кожу и мышцы, для науки до сих пор нетривиальная задача. Чтобы решить проблему передачи кинестетической обратной связи, учёные проводят множество исследований и решений в области хаптики. Эта наука изучает осязание и прикосновения. В нашем материале вы узнаете, насколько тактильные ощущения важны для человека, как технологии пытаются воспроизвести их и какие проекты в области хаптики создаются в России.
Так ли важны прикосновения?
Термин «хаптика» берёт своё название от греческих слов haphe (осязание) и haptesthai (трогать). Аристотель в своём трактате «О душе», пытаясь разобраться в природе осязания, писал: «Осязание же (haphe) получается от непосредственного соприкосновения (haptesthai) с предметами, поэтому оно и носит это название. — Уже тогда древний философ подмечает: — Хотя и остальные органы чувств воспринимают путем соприкосновения, но через иное. По-видимому, только осязание воспринимает непосредственно (di'hautes)».
Чтобы разобраться в том, насколько древний философ был проницательным и какую роль осязание занимает в жизни живых существ, обратимся к нескольким исследованиям. В 1950 году американские учёные выяснили, что детёныши одной из разновидности макак испытывали больше привязанности к поддельным матерям. В отличие от мамы, которая кормила их молоком, чучело из проволоки и махровой ткани было приятнее и уютнее для малышей. Тактильность важна и для человеческих детёнышей, причём на критическом уровне. В 20-х годах ХХ века подкидыши в Домах призрения США возрастом до одного года, лишённые прикосновений, практически со 100% вероятностью погибали. Всё изменилось спустя 20 лет благодаря доктору Фритцу Талботу. Он внедрил в практику метод ласкового обращения: если, несмотря на квалифицированную медицинскую помощь, состояние ребёнка ухудшалось, то к нему приставляли женщину плотного телосложения, которой нужно было постоянно носить малыша. Удивительно, но такой нехитрый метод помог резко снизить детскую смертность.
С чего всё началось?
Сказать, когда наука начала свои попытки передать осязание, довольно сложно, но одним из первых применений хаптик-технологий была авиация: штурвал самолета начинал вибрировать, когда самолёт входил в турбулентность, чтобы пилоты лучше чувствовали происходящее снаружи. Следующей важной вехой стал первый патент США на «тактильный телефон». В документе говорилось, что устройство позволяло собеседникам чувствовать силу сжатия трубки друг друга. Позже, в начале XXI века, автор патента Том Шэннон написал: «Учитывая, какая большая часть нашего мозга посвящена обработке сигналов осязания, удивительно, как долго тактильность шла в телекоммуникации… И, вероятно, вопрос о том, что такое реальность, теперь станет еще глубже».
Сегодня применение тактильных технологий можно встретить повсеместно: в смартфонах, ноутбуках, жилетах, креслах, роботах, симуляторах, джойстиках и многом другом. Конечная цель любой тактильной технологии — максимально реалистично передать человеку осязательные ощущения. Чтобы добиться этого, хаптика оперирует двумя элементами: силой — имитирует определённые физические характеристики объекта, например, давление и вес; осязанием — отвечает за передачу текстуры объекта: гладкости, шероховатости и т.д.
Как устроена хаптика?
Все хаптик-устройства делятся на носимые, настольные и устройства встречного типа, а технологии на тактильные и кинестетические. Сенсорные тактильные технологии, одни из самых распространённых среди массового потребителя. Именно они используются в смартфонах и реагируют на нажатия, повороты и другие ваши действия. В перспективе эти технологии, воспроизводящие текстуру материалов, позволят вам во время онлайн-шопинга буквально потрогать товар. Кинестетическая обратная связь генерируется с помощью вибрации, движения и сопротивления, позволяя глубже погрузиться в игру или лучше прочувствовать удалённого робота. Эту технологию используют сапёры при обезвреживании бомб или космонавты при управлении роботом для обслуживания или ремонта оборудования в открытом космосе.
Обратная связь в хаптике делится на пять категорий:
- силовая — воздействует на кожу, мышцы и связки человека для имитации частей тела человека. К ним относятся экзоскелеты.
- вибротактильная — наиболее распространённый класс технологий, используемый в телефонах, геймпадах и умных часах.
- электротактильная — оперируя напряжением, силой током, амплитудой, этот способ может передавать уникальные ощущения реального мира через нервные окончания пользователя. Основные преимущества таких устройств — компактность и отсутствие каких-либо громоздких механических частей.
- ультразвуковая — использует звуки высокой частоты для воздействия на кожу человека, помогая почувствовать форму и текстуру объекта.
- тепловая — для имитации тепла, холода и изменения температур используются термоэлектрические элементы.
Не только видеоигры: где используются тактильные технологии
Хаптика становится неотъемлемым элементом не только видеоигр. Например, без неё невозможна метавселенная, которая, по мнению Марка Цукерберга, поменяет представление человека о взаимодействии с контентом, совершив переход от потребления информации к нахождению в ней. Благодаря устройствам на основе таких технологий человек сможет полноценно погрузиться в виртуальный мир, испытывая обратную связь от любого взаимодействия с ней.
Но метавселенная не единственная специфическая среда, где нужна хаптика. Это направление всё чаще вспоминают в контексте исследования космоса. Тактильные технологии могут помочь в освоении планет и спутников, например, в удалённом строительстве необходимой инфраструктуры с помощью роботов. Прямо сейчас хаптика стала важным элементом управления суднами в авиации, делая полёт безопаснее и экономичнее. Тактильные технологии помогают в управлении транспортных средств и на земле и интегрированы в усовершенствованную систему помощи водителю. Например, некоторые пассивные системы ADAS через вибрацию руля подскажут, что полоса, куда вы хотите повернуть, уже занята другой машиной.
Хаптика не только предотвращает возможные травмы на дорогах, но и играет жизненно важную роль в современной медицине. Например, инструменты для лапароскопической хирургии оснащены силовой и тактильной обратной связью, что позволяет врачам дистанционно и точно исследовать ткани и диагностировать отклонения. В традиционной хирургии хаптика помогает управлять роботами, которые не только помогают проводить операции удалённо, но и работать на ограниченных участках ткани, которые вызывают трудности даже для опытного специалиста.
Хаптика в России
Если вы думаете, что в России учёные не занимаются хаптикой, то не спешите с выводами. Например, в прошлом году разработка учёных Лаборатории интеллектуальной космической робототехники Центра системного проектирования Сколтеха была признана лучшей на одной из ключевых конференциях отрасли Asia Haptics.
Под руководством профессора Сколтеха Дмитрия Тетерюкова в лаборатории ежегодно появляются уникальные проекты по разработке различных тактильных устройств и применению тактильных технологий в телеуправлении, а так же для безопасного взаимодействия человека с роботом.
Тактильные интерфейсы
DeltaTouch. Носимый тактильный дисплей обеспечивает мультимодальные тактильные стимулы в любой точке ладони пользователя виртуальной реальности или оператора во время удалённой роботы. Устройство способно генерировать трехмерный вектор силы в точке контакта для передачи ощущения веса, мягкости и текстуры на ладони пользователя. Разработка может быть использована в различных приложениях виртуальной реальности, медицинских симуляторах, а так же при телеуправлении роботами.
Научная статья: https://ieeexplore.ieee.org/abstract/document/8816136/
DeltaFinger. Тактильное устройство, которое крепится на руку и позволяет человеку в VR-шлеме физически почувствовать на кончике пальца виртуальную реальность. Будет полезно медикам во время виртуальной операции или спасателям для удалённой работы в районах техногенных или природных катастроф.
Научная статья: https://arxiv.org/pdf/2211.00752.pdf
LinkRing. Носимый тактильный дисплей для передачи мультиконтактных и мультимодальных стимулов на подушечках пальцев. Система состоит из лёгкого и удобного устройства на основе двух параллельных пятизвенных механизмов с двумя степенями свободы каждый, обеспечивающих тактильную обратную связь в двух независимых точках на подушечках пальцев. Тактильный дисплей может создавать нормальные и поперечные силы в точках контакта, имитируя скручивание, проскальзывание и давление.
Научная статья: https://link.springer.com/content/pdf/10.1007/978-3-030-58147-3_48.pdf
LinkGlide. Носимый тактильный дисплей, который позволяет доставлять многоконтактные и мультимодальные стимулы прямо на ладонь пользователя. Массив перевернутых пятизвенных механизмов создает три независимых точки контакта, охватывающих всю площадь ладони. Независимые точки контакта создают различные тактильные узоры на руке пользователя, позволяя передать ощущение скольжения, вектора силы, и давления.
Научная статья: https://arxiv.org/ftp/arxiv/papers/2208/2208.14149.pdf
DandelionTouch. Интерфейс предназначен для высокоточного тактильного рендеринга мягких объектов в виртуальной реальности. Тактильное взаимодействие с виртуальной средой создается с помощью роя дронов, связанных с кончиками пальцев пользователя гибкими проводами, на концах которых расположен массив вибромоторов.
Научная статья: https://arxiv.org/pdf/2209.10503.pdf
TeslaMirror. Тактильный интерфейс встречного типа, передающий форму и текстуру поверхности практически любого несложного объекта. Когда пользователь надевает очки виртуальной реальности и приближается к виртуальному объекту, интерфейс оценивает положение и ориентацию его ладони с помощью контроллера LeapMotion и отправляет роботизированный манипулятор ровно в ту точку, где, по расчетам, пользователь должен будет «прикоснуться» к объекту. На конце манипулятора установлен тактильный дисплей, который умеет воссоздавать неровности поверхности и ее текстуру, в том числе с помощью электротактильной обратной связи.
Научная статья: https://arxiv.org/pdf/2006.13660.pdf
Применение хаптики в телеуправлении
DeepXPalm. Тактильный дисплей LinkGlide нашёл своё применение в телеманипуляции пластиковыми пипетками. Удалённая манипуляция деформируемых объектов — сложная задача. Когда в руки хирурга попадают такие объекты, роботу для операций сложно передать их точное позиционирование, а значит, возникает высокий риск совершить ошибку. Учёные Сколтеха предлагают новое решение этой задачи, основанное на сверточных нейронных сетях (CNN) для определения наклона и положения при захвате деформируемых объектов. На основе данных наклона и положения CNN генерирует специальную маску для передачи дополнительных тактильных стимулов оператору во время манипуляций, упрощая позиционирование робота через транспарентную обратную связь на ладони человека.
Научная статья: https://arxiv.org/ftp/arxiv/papers/2204/2204.03521.pdf
vDeltaGlove. Тактильный интерфейс обеспечивает мультимодальную тактильную обратную связь при управлении роботом-манипулятором через виртуальную среду. vDeltaGlove состоит из надеваемого на ладонь тактильного дисплея DeltaTouch с тремя степенями свободы и перчатки, оснащенной вибромоторами и устройством для захвата движений руки. В результате исследований разработка показала характеристики, по точности управления сопоставимые с коммерческим настольным интерфейсом с силовой обратной связью Force Dimension Omega.7, а также превзошла по эффективности управления контроллер виртуальной реальности VIVE. Интерфейс vDeltaGlove может также применяться в VR-симуляторах, медицинских и реабилитационных системах.
Научная статья: https://ieeexplore.ieee.org/document/10098213/
AeroVR. Система телеуправления для воздушного манипулирования, основанная на виртуальной реальности. В её основе — беспилотный летательный аппарат (БПЛА) мультироторного типа, оснащенный роботом-манипулятором со встроенными датчиками. Разработанная система позволяет оператору одновременно управлять полетом БПЛА с помощью VR-контроллера, удерживаемого в одной руке, и выполнять манипуляционные задачи посредством движения другой руки с носимым интерфейсом с вибротактильной обратной связью. Разработанная виртуальная среда представляет собой цифровой двойник воздушного манипулятора и встроенный видеопоток в режиме реального времени с камеры на захватном устройстве робота.
Научная статья: https://arxiv.org/pdf/1910.11604.pdf
DroneARchery. Эффективный (и эффектный) метод развёртывания роя спасательных и исследовательских дронов использует шлем виртуальной реальности и тактильный интерфейс — оператор имитирует серию выстрелов из лука, направляя каждый дрон в заданную точку.
Научная статья: https://arxiv.org/pdf/2210.07730.pdf
SwarmTouch. Система для плавного и безопасного взаимодействия человека и роя небольших дронов с помощью импедансного управления и вибротактильной обратной связи. Данный подход позволяет отслеживать движения руки оператора и изменять форму и динамику поведения нескольких дронов при помощи импедансных взаимосвязей между ними, а также достичь поведения очень похожего на реальное поведение роя. Генерируемые на кончиках пальцев оператора тактильные паттерны отражают статические и динамические параметры роя дронов, обеспечивая более высокий уровень осведомленности оператора во время навигации роя.
Научная статья: https://arxiv.org/pdf/1909.02298.pdf
За помощь в подготовке материала мы благодарим студентку аспирантуры Сколтеха Дарью Тринитатову.
Читайте также:
