Это уже не научная фантастика — системы искусственного интеллекта (ИИ) действительно могут преобразовать мозговую активность человека в текстовую речь. Исследователи из Калифорнийского университета в Сан-Франциско доказали это в новом эксперименте.
Команда во главе с нейрохирургом Эдвардом Чангом использовала новый метод для декодирования электрокортикограммы. Это запись электрических импульсов, возникающих во время кортикальной активности, которые регистрируются электродами, имплантированными в мозг испытуемого.
В исследовании участвовали четыре пациента с эпилепсией. Электроды были имплантированы в их мозг для мониторинга судорог, а не специально для изучения мозговой активности. Тем не менее, они согласились поучаствовать в эксперименте с обучением ИИ.
Участники эксперимента прочитали и повторили вслух несколько предложений, а электроды в это время регистрировали активность их мозга. Затем данные передавались нейронной сети, которая определяла, какие движения рта при воспроизведении звуков соответствуют определенной мозговой активности, и выстраивала закономерности. После этого другая нейронная сеть на основе составленных закономерностей пыталась понять, что сказал человек, основываясь только на данных о его мозговой активности.
Частота ошибок ИИ при переводе составила всего 3 процента. Примеры ошибок: предложение «музей нанимает музыкантов каждый вечер» (the museum hires musicians every evening) было переведено как «музей нанимает музыкантов каждое дорогое утро» (the museum hires musicians every expensive morning); «часть торта была съедена собакой» (part of the cake was eaten by the dog) было переведено «часть торта была печеньем» (part of the cake was the cookie); «Тина Тернер — поп-певица» (Tina Turner is a pop singer) превратилось в «действительно Тернер — поп-певица» (did turner is a pop singer).
В редких случаях результаты перевода практически не имели отношения к тому, о чем на самом деле говорилось. К примеру, предложение «она носила теплые ворсистые шерстяные комбинезоны» (she wore warm fleecy woollen overalls) почему-то было переведено как «этот оазис был миражом» (the oasis was a mirage).
Однако несмотря на подобные ошибки, система в целом удачно справлялась с декодированием мозговых сигналов. Команда считает, что однажды ИИ поможет вернуть голос пациентам, которые потеряли способность говорить.