Учёные из Калифорнийского университета в Сан-Франциско разработалитехнологию, которая позволяет пациентам с неврологическими нарушениями речи озвучивать свои мысли. Декодер мыслей поможет потерявшим голос из-за паралича и таких заболеваний как рак горла, боковой амиотрофический склероз (это заболевание было у Стивена Хокинга) и болезнь Паркинсона.
Пациенты с такими заболеваниями могли общаться и раньше. Но синтезаторы речи, такие как использовал Стивен Хокинг, работающие за счет распознавания движения глаз, очень медлительные. Они способны воспроизводить лишь до восьми слов в минуту. Это очень мало в сравнении с естественной речью — 100-150 слов в минуту.
Команда Эдварда Чанга, Гопала Кришны Ануманчипалли и Джоша Шартье записала те сигналы мозга, которые контролируют движения гортани, горла, губ и языка.
На первом этапе испытуемые должны были произнести вслух несколько сотен предложений. Все нейронные активности, пока они произносили свои речи, были также измерены и записаны. Используя эти данные, исследователи создали и обучили декодер, который способен создавать синтетическую речь. После долгих вычислительных процессов, испытуемых попросили лишь думать о том, что они хотят сказать, и не говорить мысли вслух. Декодер, обученный на сигналах устной речи, сначала преобразовывал нейронную активность в движения, а затем переводил их в слова. Учёные даже смогли понять предложения, которым декодер не был изначально обучен.
На этой записи — результат работы учёных. Звучит как обычный человеческий голос, но как будто с сильным иностранным акцентом.
Эта технология может позволить людям, которые были лишены речи из-за болезни или травмы, общаться естественным образом без лишних усилий.