Найти в Дзене

Рассказываю как работает приложение, которое узнаёт музыку по мелодии

Я думаю, каждый из нас знаком с приложением, которое узнает музыку по мелодии. Работает оно просто: создает спектрограмму прослушанной песни для каждой, она, очевидно, индивидуальная, дальше нейросеть роется в базе, находит совпадение и говорит вам: вот, пожалуйста, получите, распишитесь. Но мы же можем узнавать музыку и без приложения. Наш мозг также записывает определенные последовательности нот в голове и роется в базе, когда вы слышите что-то знакомое. При получении нашими ушами внешних стимулов то есть звуков, в данном случае, в мозге включаются определенные отделы и возникает соответствующая активность, строго определенная для каждой мелодии. И тут ученые подумали: если наш мозг знает мелодию, то можем ли мы ее с мозга считать? Проще говоря: можем ли мы узнать, какая песня крутится у человека в голове прямо сейчас? Декодировать мозговой Шазам. Итак, ученые из Нидерландов и Индии взяли 20 человек и включили каждому из них 12 отрывков песен каждый по примерно 2 минуты, которых о

Я думаю, каждый из нас знаком с приложением, которое узнает музыку по мелодии. Работает оно просто: создает спектрограмму прослушанной песни для каждой, она, очевидно, индивидуальная, дальше нейросеть роется в базе, находит совпадение и говорит вам: вот, пожалуйста, получите, распишитесь. Но мы же можем узнавать музыку и без приложения. Наш мозг также записывает определенные последовательности нот в голове и роется в базе, когда вы слышите что-то знакомое. При получении нашими ушами внешних стимулов то есть звуков, в данном случае, в мозге включаются определенные отделы и возникает соответствующая активность, строго определенная для каждой мелодии. И тут ученые подумали: если наш мозг знает мелодию, то можем ли мы ее с мозга считать? Проще говоря: можем ли мы узнать, какая песня крутится у человека в голове прямо сейчас? Декодировать мозговой Шазам. Итак, ученые из Нидерландов и Индии взяли 20 человек и включили каждому из них 12 отрывков песен каждый по примерно 2 минуты, которых они раньше не слышали, в случайном порядке и стали снимать им ЭЭГ. ЭЭГ это электроэнцефалограмма электроды, которые лепятся человеку на голову и снимают поверхностную активность его мозга. Они записывали данные с мозга при прослушивании каждой песни, а затем включали их участникам эксперимента повторно и угадывали, что именно сейчас слушает человек по изменению его энцефалограммы. Ну, точнее не сами ученые угадывали, а нейросеть, которую они обучили для этого. И знаете что? У нейросети получилось угадать мелодию, считанную с мозга по 1-секундному отрывку с точностью 84.96%! А? Слабо? Вы, конечно, скажете: а что все остальные проблемы в мире уже решили?, а я вам отвечу: это исследование, хоть и звучит круто, на практике оказалось бесполезным, потому что у каждого человека на прослушивание одной и той же песни возникала совершенно индивидуальная мозговая активность. То есть, нельзя сказать, что прослушивание Nothing else matters на энцефалограмме всегда выглядит вот так, а Прыгну со скалы вот так. Все люди реагируют совершенно по-разному. Вывод? А нет его. Живите теперь с этим.