Группе учёных под руководством профессора Роберта Найта из Калифорнийского университета в Беркли удалось восстановить классическую песню группы Pink Floyd "Another Brick in the Wall" по записям мозговых волн людей.
Исследование, проведённое под руководством Найта и Людовика Белье, призвано открыть путь к восстановлению музыкальности в речи пациентов, испытывающих трудности в общении из-за неврологических заболеваний, таких как боковой амиотрофический склероз (ALS).
Найт сказал о проекте:
«Музыка по своей природе эмоциональна и интонационна — в ней есть ритм, ударение, акцент и интонация.
Она содержит гораздо больший спектр элементов, чем ограниченное количество фонем в любом языке, что может добавить ещё одно измерение к имплантируемому декодеру речи».
В предыдущих исследованиях эта же группа исследователей занималась декодированием речи на основе записей мозга, сосредоточенных в речедвигательной коре, в то время как теперь записи мозговых волн производятся в слуховых отделах органа, которые обрабатывают звуковые сигналы.
Группа исследователей проанализировала записи 29 пациентов, перенесших операцию по лечению эпилепсии. Им проигрывали 3-минутный фрагмент песни "Another Brick in the Wall", а электроды, расположенные на поверхности мозга, регистрировали их активность.
Затем искусственный интеллект (ИИ) был использован для декодирования записей и кодирования воспроизведения звуков и слов. Реконструкция, хотя и не совсем чёткая, сохранила мелодию и даже продемонстрировала узнаваемую фразу "All in all, it's just another brick in the wall".
Группа учёных из Google и Университета Осаки также опубликовала рукопись, в которой им удалось реконструировать песни по данным магнитно-резонансной томографии.
Ролик с декодированным фрагментом можно увидеть ниже.
