Создан искусственный интеллект который может восстанавливать музыку исходя из движений рук и тела музыканта!
Команда ученых из Массачусетского технологического университета преподнесли структуру искусственного интеллекта Foley Music. Данная модель может создавать музыку исходя из видеоролика игры на музыкальных инструментах без звука. Создатели утверждают, что данная система может работать с разными музыкальными инструментами и преобладает среди ранее изобретенных.
История создания Foley Music
Ученые взяли за основу умение человека «читать по губам». Новейшая модель искусственного интеллекта создает музыку на основе анализа движений человека и может стать отличным прототипом для новых приложений.
Foley Music расшифровывает информацию с основных частей тела и пальцев. Новая модель не только пишет полученную информацию в виде музыкальных нот, но и регулирует уровень громкости. Таким образом она может сыграть и воспроизвести скрипку, балалайку, гитару, барабан, виолончель и другие инструменты.
Экспериментальное исследование новой модели искусственного интеллекта
Ученые разработали для Foley Music три набора данных, в которых есть информация о большом количестве видеороликов с игрой на музыкальных инструментах. В результате получилось создать модель искусственного интеллекта с возможностью обработки видео различных уровней сложности.
В процессе апробирования Foley Music ученые загрузили в программу 450 видеороликов. Полученные композиции передали для анализа профессиональным музыкантам. По итогам многие отметили, что «музыка похожа на качественный кавер от профессиональной группы».
Консультанты отметили, что созданная мелодия Foley Music легко перепутать с обычной записью. Несомненным плюсом искусственного интеллекта является возможность улучшить качество звучания, временную синхронизацию и многое другое.
Читайте также: Новый инструмент по борьбе с интернет-троллями. Также ранее мы писали о том, что Налог на роботов в России — новая реальность.
Оригинал статьи на нашем сайте: https://h-it.ru/iskusstvennyy-intellekt-smozhet-vosstanovit-muzyku-po-video-fragmentu