Вы когда-нибудь задумывались, что у каждого музыканта есть свой неповторимый «почерк»? Не в смысле нотной записи, а в том, как он играет. Оказывается, по манере исполнения можно безошибочно определить, кто сидит за инструментом. И теперь это умеют не только опытные меломаны, но и нейросети.
Ученые из Университета Юты провели любопытное исследование: они обучили искусственный интеллект распознавать джазовых пианистов по их игре. Звучит как магия, но на самом деле это чистая математика и анализ данных. Как сообщает издание N + 1, нейросеть смогла с высокой точностью определить, кто из знаменитых музыкантов исполняет конкретную композицию.
В чем суть эксперимента
Исследователи взяли записи девяти известных джазовых пианистов, включая таких легенд, как Телониус Монк, Оскар Питерсон и Билл Эванс. Затем они перевели аудиозаписи в спектрограммы — визуальные изображения звуковых частот. Именно эти «картинки» и скормили нейросети.
Но тут есть нюанс. Если просто показать алгоритму спектрограмму целиком, он может запомнить не столько манеру игры, сколько конкретные ноты и аккорды. Чтобы этого избежать, исследователи пошли на хитрость. Они разрезали записи на короткие фрагменты и немного искажали их — меняли тональность и скорость. Так нейросеть была вынуждена обращать внимание не на сами ноты, а на то, как пианист их играет: на динамику, артикуляцию, микротайминг.
И знаете что? Сработало. Даже с искаженными фрагментами алгоритм угадывал исполнителя в большинстве случаев. Причем точность варьировалась в зависимости от музыканта. Кого-то нейросеть узнавала почти всегда, а с кем-то путалась. Например, стиль Билла Эванса оказался настолько узнаваемым, что алгоритм безошибочно определял его в 90% случаев. А вот с другими пианистами возникали сложности — видимо, у них более «универсальный» почерк, который пересекается с другими исполнителями.
Если вам интересно, как технологии проникают в музыку и что еще умеют нейросети, подписывайтесь на канал — будем разбирать самые неожиданные исследования и рассказывать о них простыми словами.
Что это значит для музыки
Тут открывается целое поле для размышлений. С одной стороны, это просто забавный эксперимент, который показывает, насколько мощными стали алгоритмы распознавания. С другой — у такого подхода есть вполне практическое применение.
Представьте: вы нашли старую запись, но не знаете, кто на ней играет. Раньше для этого приходилось приглашать эксперта с музыкальным образованием и идеальным слухом. Теперь можно просто прогнать аудио через нейросеть — и она скажет, что это, скорее всего, Билл Эванс или, скажем, Маккой Тайнер.
Кстати, о Тайнере. Его стиль, к слову, оказался одним из самых сложных для распознавания. Возможно, потому что он часто использовал характерные для многих джазовых пианистов приемы, такие как квартовые гармонии. А вот Монка алгоритм путал с другими исполнителями — вероятно, из-за его нарочито «корявой» и ритмически сложной манеры, которая на первый взгляд кажется хаотичной, но на самом деле очень структурирована.
Почему «почерк» так важен
Секрет в том, что каждый музыкант проводит за инструментом тысячи часов, и его мозг формирует уникальные нейронные связи. Это отражается в том, как он атакует клавиши, как использует педаль, как расставляет акценты. Это как подпись — вроде бы все пишут одними и теми же буквами, но почерк у каждого свой.
Исследование также поднимает интересный вопрос: а можно ли по «почерку» определить не только исполнителя, но и его эмоциональное состояние? Или, например, распознать стиль целой школы? Пока это только гипотезы, но направление явно перспективное.
Кстати, о перспективах. Ученые планируют расширить эксперимент: добавить больше пианистов, другие инструменты и даже вокальные партии. Представьте, как было бы здорово — загружаешь песню, а нейросеть говорит: «Это, скорее всего, Фрэнк Синатра, но с примесью Дина Мартина». Забавно, правда?
Если статья оказалась полезной, поддержите автора донатом.
Чтобы не пропустить новые публикации, подписывайтесь на канал.
Материал подготовлен на основе информации из открытых источников. Все права на исходные материалы принадлежат их авторам. Если вы являетесь правообладателем и возражаете против использования, свяжитесь с нами по адресу info@11st.press.