Ученые из США разработали нейроинтерфейс, который позволил декодировать речь парализованного мужчины-билингва. Модель машинного обучения, натренированная на предложениях на испанском и английском языках, предсказывала фразы, которые пытался произнести пациент — и на одном, и на втором языке. Словарь декодера состоял из 111 испанских и 70 английских слов, а также нескольких десятков фраз. С помощью декодера пациент смог побеседовать с исследователями на испанском и английском. Результаты опубликованы в Nature Biomedical Engineering.
Эта новость появилась на N + 1 при поддержке Фонда развития научно-культурных связей «Вызов», который был создан для формирования экспертного сообщества в области будущих технологий и развития международных научных коммуникаций
В 2019 году команда ученых из Калифорнийского университета Сан-Франциско под руководством Эдварда Чана (Edward Chang) имплантировала электроды в мозг парализованного после инсульта мужчины, который утратил способности говорить. Электроды разместили в районе нижней лобной извилины, средней лобной извилины, прецентральной и постцентральной извилин левого полушария — моторных областей коры, которые отвечают за речь. Затем исследователи обучили нейронную сеть расшифровывать сигналы с электродов в моменты, когда пациент пытался говорить, и переводить их в текст. Словарь такого декодера состоял из 50 английских слов, из которых пациент мог составлять простые предложения со скоростью около 15 слов в минуту. Некоторое время спустя ученые улучшили систему: декодер научили работать, даже когда мужчина произносил слова про себя, а его словарь расширился до 1152 слов.
Однако английский не был родным языком пациента — он выучил его уже во взрослом возрасте, а с детства говорил по-испански. В новом исследовании команда Чана обучила декодер расшифровывать речь этого пациента на двух языках на основе корковой активности и моделей естественного языка. Декодер обучали на 70 английских словах и 111 испанских. Фразы, составленные из этих слов, пациент читал с экрана — он не мог говорить, но пытался это делать, издавая мычание. Данные с электродов записывались и передавались в классификатор, который рассчитывал вероятности того, что дальше последует то или иное слово на одном из двух языков. Прогнозируемая вероятность неспряженных форм глаголов распространялась и на все спряженные формы. Затем включалась вероятностная модель естественного языка, благодаря которой декодер отдавал приоритет лингвистически допустимым фразам и правильно спрягал глаголы.
На этапе тестирования пациент читал 56 двуязычных фраз с экрана в случайном порядке. Декодер правильно расшифровал 73,3 процента фраз на испанском и 77,8 процента на английском. Если декодер опирался только на нейронные данные (без языкового моделирования), он ошибался более чем в 50 процентах случаев, но все еще мог верно предсказывать фразы. Важным результатом стало и то, что мужчина смог самостоятельно генерировать фразы из словаря — а не только читать их с экрана. Он отвечал на вопросы исследователей и мог беседовать с ними как на английском, так и на испанском языке.
Также исследователи обнаружили, что одни и те же нейроны речевых моторных центров активируются, когда пациент говорит на английском и испанском языке. Судя по всему, языковые модели классификации фиксировали общую артикуляционную информацию, а не специфичные для конкретного языка сигналы. Иногда декодер мог путать одно слово с другим — и чаще всего это происходило тогда, когда слова были похожи по звучанию, а не по смыслу.
Опираясь на это, ученые создали набор фраз, в котором английские и испанские слова состояли из одних и тех же слогов и на их основе применили трансферное обучение декодера. Декодер, обученный на одном языке, успешно предсказывал фразы, которые пациент пытался произносить на другом. Такой подход может значительно ускорить обучение двуязычных декодеров в будущем, по крайней мере в случае языков, схожих друг с другом.
Ранее с помощью электродов, временно установленных на поверхности коры мозга, и многопоточный нейронной сети ученым удалось декодировать тоновый язык — модель правильно синтезировала восемь китайских тоновых слогов.