Нейробиологи учат компьютеры читать слова прямо из мозга людей.
Келли Сервик сообщила о трех статьях, опубликованных на сервере препринтов bioRxiv, в которых три разных группы исследователей продемонстрировали, что они могут декодировать речь из записей запуска нейронов. В каждом исследовании электроды, помещенные непосредственно в мозг, регистрировали нервную активность, в то время как пациенты, перенесшие операцию на мозге, слушали речь или читали слова вслух. Затем исследователи попытались выяснить, что пациенты слышали или говорили. В каждом случае исследователи смогли преобразовать электрическую активность мозга в по крайней мере немного понятные звуковые файлы.
В первой статье , опубликованной в bioRxiv 10 октября 2018 года, описывается эксперимент, в котором исследователи воспроизводили записи речи для пациентов с эпилепсией, которые находились на стадии операции на головном мозге. (Нейронные записи, взятые в эксперименте, должны были быть очень подробными, чтобы их можно было интерпретировать. И этот уровень детализации доступен только в редких случаях, когда мозг подвергается воздействию воздуха и электроды помещаются непосредственно на него, например, при операции на головном мозге.)
Пока пациенты слушали звуковые файлы, исследователи записывали как нейроны запускают части мозга, которые обрабатывают звук. Ученые испробовали ряд различных методов для превращения этих нейронных данных в речь и обнаружили, что "глубокое обучение", при котором компьютер пытается решить проблему более или менее самостоятельно, работает лучше всего. Когда они воспроизводили результаты через вокодер, который синтезирует человеческие голоса, для группы из 11 слушателей, эти люди могли правильно интерпретировать слова в 75% случаев.
Вы можете прослушать аудио из этого эксперимента здесь.
Второй документ , размещенный 27 ноября 2018, опирался на нейронных записях от людей , перенесших операцию по удалению опухоли головного мозга. Когда пациенты читали вслух односложные слова, исследователи записывали как звуки, исходящие изо рта участников, так и нейроны, запускающиеся в области речи головного мозга . Вместо того, чтобы тщательно тренировать компьютеры для каждого пациента, эти исследователи научили искусственную нейронную сеть преобразовывать нейронные записи в аудио, показывая, что результаты были по меньшей мере разумно понятны и аналогичны записям, сделанным микрофонами. (Аудио из этого эксперимента здесь)
Третий документ , опубликованный 9 августа 2018, полагался на запись части мозга, которая преобразует конкретные слова , которые человек решает говорить в мышечные движения. В то время как в интернете нет записей об этом эксперименте, исследователи сообщили, что им удалось восстановить целые предложения (также записанные во время операции на головном мозге у пациентов с эпилепсией) и что люди, которые слушали эти предложения, могли правильно интерпретировать их. Метод этого эксперимента основывался на выявлении закономерностей, связанных с производством отдельных слогов, а не целых слов.
Цель всех этих экспериментов состоит в том, чтобы однажды дать возможность людям, которые потеряли способность говорить (из-за амиотрофического бокового склероза или подобных состояний), говорить через интерфейс компьютер-мозг. Тем не менее, наработок для этого приложения еще не существует.
Наука говорит нам, что интерпретировать нейронные паттерны человека, который просто представляет речь, сложнее, чем интерпретировать паттерны того, кто слушает или производит речь. (Однако авторы второй статьи сказали, что интерпретация мозговой активности человека, воображающего речь возможна)
Также важно помнить, что это небольшие исследования. В первой работе использовались данные, полученные только от пяти пациентов, во второй - шести пациентов, а в третьей - только трех. И ни одна из нейронных записей не длилась больше часа.
Тем не менее, наука движется вперед, и устройства искусственной речи, подключенные непосредственно к мозгу, кажутся реализуемыми в ближайшем будущем.
Если вам понравилась статья, ставьте лайки и подписывайтесь на канал.
