В ранних экспериментах парализованный человек с имплантатами в премоторной коре головного мозга набирал 90 символов в минуту - воображая, что он пишет от руки.
ELON MUSK'S NEURALINK произвёл фурор на технологической стороне нервных имплантатов, но ещё не показал, как мы можем их использовать имплантаты. На данный момент демонстрация перспективности имплантатов остается в руках академического сообщества.
Эта история изначально появилась на Ars Technica, надежном источнике технологических новостей, анализа технической политики, обзоров и многого другого.
На этой неделе это сообщество представило довольно впечатляющий пример перспективных возможностей нейронных имплантатов. Используя имплант, парализованному человеку удалось набрать примерно 90 символов в минуту, просто представив, что он пишет эти символы от руки.
Предыдущие попытки предоставить парализованным людям возможности набора текста с помощью имплантатов заключались в том, чтобы дать испытуемым виртуальную клавиатуру и позволить им управлять курсором с помощью своего разума. Этот процесс эффективен, но медленен и требует полного внимания пользователя, так как испытуемый должен отслеживать перемещение курсора и определять, когда выполнять эквивалент нажатия клавиши. Это также требует, чтобы пользователь потратил время на то, чтобы научиться управлять системой.
Но есть и другие возможные пути вывода персонажей из мозга на страницу. Где-то в процессе написания мысли мы формируем намерение использовать определенный персонаж, и использование имплантата для отслеживания этого намерения потенциально может сработать. К сожалению, этот процесс не очень хорошо изучен.
После этого намерения решение передается в моторную кору, где оно переводится в действия. Опять же, есть стадия намерения, когда моторная кора определяет, что она будет формировать букву (например, путем набора или письма), которая затем преобразуется в определенные движения мышц, необходимые для выполнения действия. Эти процессы гораздо лучше поняты, и именно они нацелены исследовательской группой в своей новой работе.
В частности, исследователи поместили два имплантата в премоторную кору парализованного человека. Считается, что эта область участвует в формировании намерений выполнять движения. Улавливание этих намерений с большей вероятностью даст четкий сигнал, чем улавливание самих движений, которые, вероятно, будут сложными (любое движение задействует несколько мускулов) и зависит от контекста (где ваша рука находится относительно страницы, на которой вы пишете, так далее.).
Установив имплантаты в нужном месте, исследователи попросили участника представить, как пишут буквы на странице, и записали нейронную активность, как он это делал.
Всего в премоторной коре головного мозга участника было около 200 электродов. Не все из них были информативными для написания писем. Но для тех, которые были, авторы провели анализ главных компонентов, который выявил особенности нейронных записей, которые больше всего различались при представлении различных букв. Преобразовывая эти записи в двухмерный график, было очевидно, что действия, наблюдаемые при написании одного символа, всегда сгруппированы вместе. И физически похожие символы - например, p и b или h, n и r - образовывали кластеры рядом друг с другом.
(Исследователи также попросили участников поставить знаки препинания, такие как запятая и вопросительный знак, и использовали знак> для обозначения пробела и тильды для точки.)
В целом исследователи обнаружили, что они могут расшифровать соответствующий символ с точностью чуть более 94 процентов, но система требовала относительно медленного анализа после того, как нейронные данные были записаны. Чтобы все работало в реальном времени, исследователи обучили рекуррентную нейронную сеть оценивать вероятность сигнала, соответствующего каждой букве.
Несмотря на работу с относительно небольшим объемом данных (всего 242 предложения, состоящие из символов), система работала замечательно. Задержка между мыслью и персонажем, появляющимся на экране, составляла около полсекунды, и участник смог воспроизвести около 90 символов в минуту, что легко превзошло предыдущий рекорд для набора текста с помощью имплантата, который составлял около 25 символов в минуту. Уровень необработанных ошибок составлял около 5 процентов, а применение такой системы, как автокоррекция набора текста, могло снизить количество ошибок до 1 процента.
Все тесты проводились с заранее подготовленными предложениями. Однако после проверки системы исследователи попросили участника напечатать ответы на вопросы в свободной форме. Здесь скорость немного снизилась (75 символов в минуту) и количество ошибок увеличилось до 2 процентов после автокоррекции, но система по-прежнему работала.