Человеческая речь обладает и свойствами музыки: люди добавляют к словам интонацию и ритм, что существенно обогащает смысл произносимого. Поэтому исследования восприятия музыки важны для создания интерфейсов «мозг – компьютер» для людей, потерявших способность говорить. Введение музыкальной составляющей сделает реконструированную компьютерную речь ближе к нормальной человеческой
Музыка – важная часть человеческой жизни, и не только как вид искусства. В ее восприятии участвуют подкорковые отделы и кора головного мозга, включая области височных и лобных долей, которые перекрываются с областями восприятия речи. Существует даже отдельная область нейронауки, которая занимается восприятием музыки, и в ней в последние десятилетия произошел большой прогресс: были найдены нейронные корреляты таких музыкальных элементов, как тембр и высота звука, мелодия, гармония и ритм.
Определить, какие области мозга участвуют в восприятии музыки, можно с помощью метода реконструкции стимула. При этом сначала регистрируют активность нейронов, вызванную звуком, а затем оценивают, насколько точно этот звук может быть воспроизведен из записи этой активности. Благодаря такой методике ученые уже научились реконструировать речь: с помощью внутричерепной электроэнцефалографии записывают активность нейронов, а затем ее декодируют. Этот способ уже используют в интерфейсах «мозг – компьютер», помогающих общаться с людьми, которые парализованы и не могут говорить.
И музыка, и речь – сложные акустические сигналы, основанные на многопорядковой иерархической информационной структуре: фонемы, слоги, слова, семантика и синтаксис в речи; ноты, мелодия, аккорды и гармония – в музыке. Поэтому ученые из США использовали для реконструкции музыкальных фраз тот же подход, что и для реконструкции речи.
Участниками исследования стали 29 пациентов с эпилепсией, в мозг которых с диагностической целью были имплантированы электроды, позволяющие определить область мозга, провоцирующую приступ. С помощью этих электродов ученым удалось уловить электрическую активность областей мозга, которые «обрабатывали» музыку при прослушивании трехминутного отрывка из песни Another Brick in the Wal (Part 1), исполняемой британской рок-группой «Пинк Флойд».
Позже исследователи ввели записи активности мозга в компьютер и с помощью алгоритмов машинного обучения декодировали их. В результате удалось воспроизвести вполне узнаваемую музыкальную фразу.
Может возникнуть вопрос: значит ли это, что ученые научились «подслушивать» мысли или хотя бы узнавать, что вы слушаете? Нет, для этого необходимо как минимум, чтобы в мозг были имплантированы электроды. Сигнал, снятый с кожи головы, на порядок слабее сигнала с поверхности мозга, для декодирования информации его недостаточно.
Даже в этом эксперименте электроды находились на расстоянии 5 мм друг от друга, но исследователи считают предпочтительным расстояние не более 1,5 мм. Нужны электродные сетки с более высокой плотностью, чтобы получить больше данных для последующего декодирования.
В целом же результаты этого эксперимента говорят о том, что работа с областями мозга, отвечающими за слуховую обработку, может оказаться более перспективной с точки зрения воспроизведения речи с помощью интерфейса «мозг – компьютер», чем с моторной корой, ответственной за генерацию движений.
Ученые также узнали больше о том, как мозг обрабатывает музыку. Удалось выяснить, какие области важны для определения ритма, и установить, что на звук синтезатора и на вокал реагируют разные слуховые отделы. Подтвердилось и предположение, что правое полушарие мозга лучше воспринимает музыку, чем левое.
В ближайших планах ученых – исследования на пациентах, страдающих афазией Брока, при которой человек не говорит, но способен петь. Такая болезнь может развиться, к примеру, после черепно-мозговой травмы или в результате разрастания опухоли. Изучение восприятия музыки у таких больных поможет лучше понять механизм этой патологии.
Фото: https://www.flickr.com. Музыкальные записи - Bellier et al., 2023, PLOS Biology, CC-BY 4.0.