Нейроинтерфейс, который управляет электроникой и считывает активность мозга, является одним из современных технологий. Как можно догадаться, они подходят не только для игр. Нейроинтерфейсы могут восстанавливать утраченные связи между мозгом и органами.
Новый алгоритм
Американский ученый разрабатывает алгоритм, который позволит создавать речь на основе мозговой активности, чтобы помочь людям, лишенным возможности разговаривать в результате инсульта или парализации, общаться с другими людьми.
Процесс эксперимента:
Одним из первых шагов на пути в киберпанк стал следующий эксперимент. Пациентам с эпилепсией вживили электроды в участки коры головного мозга, отвечающие за распознавание речи. Затем пациентам дали прослушать короткие рассказы. Записи активности мозга, сделанные во время этих рассказов, разделили на куски, соотнесли с записью голоса рассказчика и дали компьютеру для обучения и систематизации.
Использовали два метода обучения и последующей реконструкцией звука, основанной на линейной и нелинейной регрессии с помощью глубокой нейросети. Причем для каждого метода модель выдавала либо спектрограмму звука либо данные вокодера (алгоритма, который использует для синтеза речи не только спектрограмму, но и дополнительные параметры, например, характеристик генераторов тональных сигналов и шума). В качестве набора для контрольного тестирования использовали записи активности мозга при прослушивании цифр от 1 до 10. Затем синтезированную речь дали прослушать добровольцам на предмет распознаваемости, качества, слышимости и так далее.
Итог эксперимента:
Выиграла, конечно, глубокая нейросеть в комплекте с самыми современными техниками синтеза речи для вокодера. Эта запись оказалась самой разборчивой. Добровольца распознали 75% всех произнесенных цифр, а правильно угадать пол говорящего удалось в 80% случаев.
Надежда на будущее
Конечно, пока эксперимент отражает активность мозга лишь во время прослушивания речи, но активность во время прослушивания и воспроизводства речи схожи. Фактически воспроизводство речи - это прослушанные мысли. Пока что алгоритм работает только для участников эксперимента, для каждого индивидуально. При этом пришлось использовать много данных мозговой активности, полученных инвазивным методом. Да и качество звука на данный момент - это самое большое ограничение. Но это только начало и, возможно, телепатия, основанная на чувствительном вокодере и глубокой нейросети в скором времени перестанет быть чем-то сверхъестественным.