Ученые из Калифорнийского университета под руководством нейрохирурга Эдварда Чанга успешно применили новый способ декодировки электрокортикограммы — записи электрической активности коры головного мозга с помощью вживленных в неё электродов.
В ходе эксперимента четырех пациентов, страдающих от эпилепсии, попросили прочитать и повторить несколько предложений вслух. В этот же момент вживленные электроды записывали их мозговую активность.
Полученная информация была предоставлена нейросети, которая проверяла соответствие определенным связанным с речью паттернам — например, произнесению гласных, согласных или определенным движениям рта
Далее уже другая нейросеть декодировала обработанную информацию, полученную после 30–50 повторов предложений. Затем при помощи полученных данных система определяла, что именно было сказано человеком, исходя из полученных с коры импульсов.
Полученные результаты превзошли самые смелые ожидания — система определяла произнесенные слова с точностью 97%. Новая система декодировки может выступать в качестве эталона для оценки распознавания сигналов мозга с помощью ИИ.