Ученые разработали метод, который использует записи функциональной магнитно-резонансной томографии мозга для реконструкции непрерывной речи. Полученные данные являются следующим шагом для интерфейсов «мозг-компьютер», которые разрабатываются как вспомогательная технология для тех, кто не может говорить.
Научная статья вышла пока в препринте, о ней рассказывает Scientist.
Команда ученых из Техасского университета в Остине (США) описывает «декодер» или алгоритм, который может «читать» слова, которые человек слышит или думает во время функциональной магнитно-резонансной томографии (фМРТ). Новый декодер является первым, использующим неинвазивный метод для достижения этой цели.
«Если бы вы двадцать лет назад спросили любого когнитивного нейробиолога в мире, возможно ли это, они бы выгнали вас со смехом. В нашем случае система не расшифровывает язык дословно, а скорее различает смысл предложения или мысли», — говорит Александр Хат, нейробиолог, один из авторов исследования.
Хат и его коллеги обучили свой алгоритм с помощью фМРТ-записей мозга трех испытуемых — одной женщины и двух мужчин в возрасте от 20 до 30 лет, — которые слушали 16 часов подкастов и радиорепортажей. По словам Хата, для создания точного и широко применимого декодера было важно, чтобы испытуемые слушали широкий спектр информации.
Основываясь на обучении, декодер сделал набор прогнозов того, как будут выглядеть показания фМРТ, если человек будет думать или слышать те или иные вещи. По словам Хата, использование этих «догадок» было ключом к тому, чтобы декодер мог переводить мысли, не относящиеся ни к одной из аудиозаписей, использованных в обучении. Эти «догадки» затем сверялись с записью фМРТ в реальном времени, и предсказание, которое наиболее точно соответствовало реальности, определяло слова, которые в конечном итоге сгенерировал декодер.
Результаты показали, что алгоритм в конечном итоге генерирует целую историю из записей фМРТ, которая довольно хорошо совпадает с реальной историей. Однако у технологии есть некоторые недостатки: например, не очень хорошо различает местоимения и часто смешивает первое и третье лицо. «Декодер, — говорит Хат, — довольно точно понимает, что происходит, но не различает, кто что делает».
Поскольку в декодере используются неинвазивные записи фМРТ, у него более высокий потенциал для применения в реальных условиях, хотя дороговизна и неудобства аппаратов представляют собой очевидную проблему. Магнитоэнцефалография — еще один неинвазивный, но более портативный метод визуализации мозга, который является более точным во времени, чем фМРТ. Сейчас идут его испытания.
Самое удивительное заключается в том, что декодер смог реконструировать стимулы, в которых не использовался язык, хотя был обучен на произнесенной речи. Например, после обучения алгоритм успешно реконструировал смысл просмотренных сюжетов немого фильма, а также воображаемый опыт.
«Факт, что эти вещи настолько пересекаются [в мозге], мы только начинаем понимать», — говорит ученый
Ученые проверили, будет ли декодер работать без добровольного согласия испытуемых. Исследователи просили участников отвлечься. Им предлагали посчитать, называть про себя и представлять животных, а также придумать другую историю. Обнаружилось, что наиболее эффективным способом сделать декодирование неточным было называние и представление животных.
Также примечательным является то, что декодер, обученный сканированию мозга одного человека, не может реконструировать язык другого. То есть, чтобы подобный алгоритм прочитал ваши мысли сначала придется очень долго его обучать.
Профессии, которые меняют тело
Нейрофизиологи ответили, связан ли успех брака с синхронизацией мозговых волн пары