Ученые Калифорнийского университета создали систему из нейроинтерфейса и искусственного интеллекта, преобразующей сигналы электрической активности мозга — электроэнцефалограммы (ЭЭГ), — в слова. Статья о разработке опубликована в журнале Nature.
Нейроинтерфейсы — горячая тема, под которую правительства многих стран выделяют значительные гранты. Среди участников исследований лаборатория нейроинтерфейса в Итальянском институте технологий, немецкий The Berlin Brain-Computer Interface, лаборатория BCI японского Университета Цукубы и др.
В международном проекте The Human Brain Project, запущенном в Швейцарии в 2013 году, объединили усилия 500 ученых, представляющих различные университеты и исследовательские центры. Проект рассчитан на 10 лет. Перед ним стоит задача создать модель человеческого мозга с помощью компьютеров. Другой проект, стартовавший в том же году, Brain Research through Advancing Innovative Neurotechnologies с бюджетом в 4,5 миллиарда долларов организован, чтобы составить полную карту процессов, происходящих в человеческом мозге. Многие исследовательские центры получают финансирование на разработки в области нейроинтерфейсов. Этими исследованиями интересуется большой и средний бизнес.
Вернемся к исследованиям Калифорнийского университета. Главная проблема, стоявшая перед учеными в этой работе, заключалась в отсутствии информации о том, каким образом мозг человека кодирует, формирует речь. Предполагается, что «бортовой компьютер» человека пытается распознать, что нужно сказать, и направляет информацию об этом в зону коры, отвечающую за речь (область Вернике). Во время этой операции несколько раз могут измениться варианты послания. После принятия решения в области Вернике составляется набор звуков, который отправляется к мышцам, ответственным за их воспроизведение. И человек говорит. Ученые задаются вопросом: что именно должен распознать мозг для воспроизведения речи — звуки; состоящие из них слова или предложения, сложенные из слов? Среди факторов, которые приходится учитывать, упоминается, например, акцент — мозг реагирует на него иначе, чем при верном произношении.
В ходе эксперимента респондентам установили электроды в участки мозга, ответственные за речь. Участникам предложили прочесть текст. В наборе было 50 предложений, содержащих 250 уникальных слов. Целью эксперимента было выяснить, как будет реагировать нервная система на попытку произносить слова. Велась запись нейронной активности участников эксперимента. Она была обработана с помощью рекуррентной нейронной сети. Система выдала, скорее, промежуточное представление о том, что намеревался сказать человек. Была сделана попытка определить полный текст.
Чтобы обучить нейросеть большому объему информации, потребуется значительный срок. Поэтому в разработке интерфейса ограничились маленьким набором предложений. Среди опасений ученых было предположение, что нейросеть при определении произнесенного отрывка будет опираться на отрезки времени, затраченные мозгом на обдумывание речи и попытку. Исследователи считают, что система хорошо справилась с задачей. Частота ошибок в словах составила 8%.
Ученые изменяли количество электродов, считывающих импульсы с различных участков мозга, наблюдая, как это повлияет на результаты. Наибольшее влияние на работу интерфейса оказывали участки, связанные с воспроизведением и обработкой речи. Важным индикатором для системы стала зона мозга, реагирующая на звук собственного голоса человека. Она создавала обратную связь, помогающую понять соответствие сказанного намерениям говорящего.
Каково практическое применение изобретения, сделанного учеными Калифорнийского университета? Система может быть полезна для людей с ограниченными возможностями речевых функций. Возможно усовершенствование лечения черепно-мозговых травм, паралича и других заболеваний.
Идеи ученых соединить человеческий мозг с компьютером не всегда встречают понимание. Внедрение нейроинтерфейсов у многих вызывает страхи. Высказываются мнения о проблемах безопасности: возможность взлома, которая возникнет сразу, как мозг будет подключен к компьютеру. Звучат опасения, что технологии могут способствовать манипулированию людьми. Для внедрения разработки в мозг здорового человека не существует ни юридической, ни этической базы. Но, похоже, что это лишь вопрос времени.