По большому счёту не сложно представить программу, которая могла бы визуально определять музыкальное произведение по видеоряду, в котором пианист играет на фортепьяно. Но новая система искусственного интеллекта идёт дальше и даже реалистично воспроизводит звучание игры на инструменте.
Технология, известная как Audeo, была разработана командой Вашингтонского университета. Она включает в себя программное обеспечение в виде искусственного интеллекта, обученного на видеозаписях пианиста Пола Бэртона (Paul Barton).
При анализе видео без звука система определяет нажимаемые клавиши и отслеживает порядок их нажатия. Она обращает внимание даже на то, с какой силой была нажата клавиша и как долго она удерживалась – это позволяет определить интенсивность и продолжительность звучания каждой ноты. Также учитываются отличительные акустические характеристики фортепиано той или иной фирмы.
Полученные данные преобразуются в формат, который в результате воспроизводится цифровым синтезатором. Как сообщают создатели необычной системы, результат получается очень похожим на оригинальную мелодию.
Разработчики провели тест. Системе нужно было воспроизвести фортепианные произведения по беззвучным видео Бэртона. Причём произведения отличались от тех, на которых система обучалась. Далее полученные репродукции были проанализированы приложениями для распознавания музыки (такими как SoundHound или Shazam).
Приложения определяли произведения, воссозданные системой Audeo, с точностью 86%. В случае с оригинальной записью точность возрастала до 93%. Этот разрыв должен уменьшиться по мере развития технологии, сообщают разработчики.
Зачем же была создана такая "обходная схема"? Учёные надеются, что их работа позволит "найти новые способы взаимодействия с музыкой". Например, для обучения студентов игре на музыкальном инструменте.
Посмотреть и послушать результат работы Audeo можно по этой ссылке.
Если вам нравятся наши новости, подписывайтесь на наш канал и не забывайте ставить лайки. Эти нехитрые действия помогают нам в развитии и сборе средств для финансирования проекта.
Также наши сообщества есть в twitter, ВК, Facebook, "Одноклассниках" и Telegram. Приходите, если вы бываете там чаще, чем на Дзене. Кроме того, там выходят наши короткие подборки новостей науки и технологий, о которых должен знать каждый.