Не бойтесь, этот экзоскелет не будет играть за вас, двигая смычком или нажимая клавиши, так что живость звука не потеряется. Устройство лишь поможет лучше чувствовать ритм партнеров — чувствовать в прямом смысле.
Команда инженеров из Римского биомедицинского университета и Высшей школы Сант-Анна в Пизе разработала экзоскелет для руки, создающий тактильную обратную связь между людьми.
Координировать действия руками приходится людям самых разных занятий. Оркестр или рок-группа — самый яркий тому пример. Все время, пока существует музыка, музыканты использовали зрение и слух, чтобы синхронизировать звучание. Когда речь идет о струнных или клавишных инструментах, которые издают довольно четкие ноты, это нормально прокатывает. Но играющим на смычковых или духовых инструментах попасть в унисон куда сложнее.
Экзоскелет, созданный в рамках проекта Conbots, задействует тактильные органы чувство. Два музыканта надевают по паре легких устройств. Встроенные датчики одной пары отслеживают движения рук и передают сигналы на устройство партнера, создающих почти физическую взаимосвязь.
При этом, система не пытается диктовать ритм или подталкивать пальцы, поэтому сохраняет естественную выразительность живых музыкантов.
Звук хорошо, касание - отлично, звук+касание — полный улет
Исследователи протестировали систему на 20 дуэтах скрипачей, в том числе любительских и профессиональных. Участники играли четыре раза: в первом случае они ориентировались только на слух, затем - слух с визуальным сопровождением, слух с тактильной обратной связью через экзоскелет и с комбинацией всех трех сенсорных входов.
Оказалось, что тактильная обратная связь с помощью роборуки эффективнее поддерживает игру в унисон, чем звук.
Наилучший уровень координации был достигнут при объединении всех сенсорных модальностей — слуха, зрения и осязания. Это еще раз доказывает, как важна мультисенсорная интеграция в задачах, требующих сотрудничества.
Подтвердилось также, что экзоскелет не снижает выразительности живой игры.
Музыка, спорт и медицина
Исследователи считают, что тактильная система обратной связи будет полезна не только музыкантам. Синхронизация движений нужна во многих занятиях: в спорте, образовании, медицинской реабилитации, в сложных профессиях. Учителя или терапевты могли бы направлять учащихся, физически передавая ритм правильных движений.
Более того, это расширяет возможности удаленного обучения и исполнения. Согласитесь, трудно передать нюансы игры на той же скрипке через мессенджер или видеосвязь. Теперь это может стать проще.