Исследователи из Microsoft Mixed Reality and AI Lab и Швейцарской высшей технической школы Цюриха разработали новый метод, сочетающий смешанную (или гибридную) реальность и робототехнику. Термин «смешанная реальность» (MR или MxR) — это слияние реального и виртуального миров. Пользователь может удаленно управлять роботом через гарнитуру МРТ HoloLens, размещая голограммы в виде путевых точек, которые определяют траекторию движения робота.
Технология гибридной реальности позволит роботам выполнять, например, конвейерную сборку или хирургическую операцию посредством так называемой «воплощенной системы управления» — когда техника повторяет движения рук или всего тела управляющего роботом человека. Таким образом можно безопасно собирать данные об окружающей среде, использовать роботов при тушении пожаров и для обнаружения взрывоопасных предметов, или даже в бою.
Например, исследователи из Имперского колледжа Лондона разработали гибкую роботизированную руку, которой можно придать нужную форму с помощью дополненной реальности (AR). Благодаря ее гибкости, руку можно использовать во многих областях: от обслуживания космических кораблей и промышленного производства до реабилитации после травм.
Если технология смешанной реальности наберет обороты, то у нее может быть еще более широкая сфера применимости, чем у AR. Благодаря MxR механик, находясь в одном месте, может одновременно работать вместе со своими коллегами по всей стране — например, при сборке двигателя самолета. Смешанная реальность также может позволить людям воплотить физический аватар в виде робота.