Робототехники разработали манипулятор со встроенной нейросетью. Он слушает незнакомую мелодию и воспроизводит её на клавишах без нот. Об этом сообщает «Хайтек» со ссылкой пресс-службу Университета Северной Каролины.
Инженеры из Университета Южной Калифорнии создали четырёхпалую роборуку Musician Hand. Она осваивает клавиши как младенец: хаотично нажимает, слушает и строит карту движений. Об этом сообщает «Хайтек».
Американские инженеры построили четырёхпалую сухожильную роборуку под названием Musician Hand. Она учится играть на пианино не по нотам и не по шаблонам. Вместо многонедельных тренировок на огромных массивах данных рука использует моторный лепет. Так называют беспорядочные движения, с помощью которых младенцы осваивают собственное тело.
Робот две минуты давил на клавиши как попало. Одновременно он записывал возникающие звуки и усилия, которые для этого требовались. Нейросеть самостоятельно построила карту: какое движение пальцев рождает какой звук.
Сразу после этого манипулятор прослушал незнакомую мелодию из 30 нот и сыграл её с первой попытки без ошибок. Никакого предварительного программирования. Система превращает аудио в спектрограмму и сама разбирает тональность, ритм и силу удара. На слепом тесте профессиональные композиторы не отличили игру робота от живых пианистов.
Разработчики говорят, что технология нужна не только для музыки. Алгоритм, который связывает слух с мелкой моторикой, хотят встроить в медицинские устройства. На его основе можно делать адаптивные протезы и экзоскелеты для реабилитации после инсульта. Такие приборы будут подстраиваться под движения конкретного человека без сложного ручного кодирования.
Читать далее:
Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу
Испытания ракеты Starship Илона Маска вновь закончились взрывом в небе
Сразу четыре похожих на Землю планеты нашли у ближайшей одиночной звезды
Обложка: USC Viterbi School of Engineering