В виде препринта на сервисе bioRxiv появилась работа ученых из Техасского университета в Остине, в рамках которой они создали и обучили алгоритм искусственного интеллекта использовать данные активности мозга, полученные в ходе функциональной МРТ, для «чтения мыслей», то есть реконструкции непрерывного повествования. Этот алгоритм может лечь в основу более совершенных интерфейсов мозг-компьютер, которые будут помогать своим пользователям взаимодействовать с окружающим миром.
Особый интерес вызывает тот факт, что у исследователей получилось в качестве основы для определения «паттерна» или рисунка активности мозга использовать функциональную МРТ (фМРТ) – методику, которая лишь косвенно может улавливать сигналы мозга по изменению кровотока в той или иной области мозга. Поскольку гемодинамический ответ на деятельность нейронов – процесс небыстрый (порядка 5 секунд), фМРТ обладает слабым временным разрешением. Тем не менее он позволяет с высокой точностью локализовывать активность, если речь не идет о фиксации каких-то очень быстрых явлений.
Ранее ученые уже проводили расшифровку паттернов активности мозга в ответ на прослушивание или просмотр чего-либо, но при этом для чтения работы нейронов использовались инвазивные электроды. Техасские ученые впервые применили для этих целей неинвазивную методику.
Для того, чтобы собрать данные для обучения декодера на основе искусственного интеллекта (ИИ), ученые предложили трем добровольцам (одной женщине и двум мужчинам) прослушать, находясь в томографе, несколько подкастов с самыми широкими тематическими категориями: The Moth Radio Hour, TED talks и Anthropocene Reviewed. В общей сложности были набраны записи активности мозга после 16 часов прослушивания. По словам авторов, объем этих данных, в целом, соответствует аналогичным исследованиям с использованием фМРТ, хоть здесь и участвовало небольшое количество человек.
Основываясь на 16-часовых записях фМРТ мозга людей, декодер сделал ряд прогнозов того, как будет выглядеть активность мозга на фМРТ при «размышлении на заданную тему». Интересно, что эти данные совпали с реальными экспериментальными данными, полученными на людях после проверки.
Результаты показали, что процедура угадывания и проверки алгоритма в конечном итоге генерирует целую историю из записей МРТ, которая, по словам авторов, «довольно хорошо» совпадает с реальной историей, рассказанной в аудиозаписи. Однако у него есть некоторые недостатки; например, он не очень хорошо сохраняет местоимения и часто путает, от первого или третьего лица шло повествование. То есть, фактически, декодер «довольно точно знает, что происходит, но не знает, кто что делает».
Помимо крайне важного прикладного значения, эта работа имеет и фундаментальный аспект. Декодер может «рассказать» и о том, как в мозге происходит распознавание смыслов. Используя декодер для записи активности определенных областей (префронтальной коры и теменно-височной коры), команда смогла определить, какая часть предоставляет какую семантическую информацию. Одно из открытий заключалось в том, что обе эти области предоставляли одну и ту же информацию, и декодер работал одинаково хорошо при использовании записей из любой области мозга.
Но и это еще не все: группа ученых из Калифорнийского университета в Сан-Франциско (UCSF) разработала нейроинтерфейс для расшифровки команд, посылаемых мозгом речевому тракту.
Специалисты поместили на поверхность коры головного мозга добровольца тонкую гибкую электродную решетку. Система записывала нейронные сигналы и отправляла данные на декодер речи.
Это первый случай, когда потерявший способность говорить парализованный человек использовал нейротехнологии для воспроизведения целых слов.
Здесь нейросети выступают как заменитель поврежденной части мозга, то есть это не только механический имплант, это еще и "кусочек мозга вынесенный наружу и запечатанный в нейросети". Симбиоз белкового мозга и модели мозга в цифре.
Подробнее о сути исследования в статье. Особенно любопытен здесь метод сборки датасета для обучения нейросети - дл этого использовались больные эпилепсией в том числе методом раскрашивания лиц, почитайте, это как минимум оригинально.
В образовании такие первые шаги предвещают новый спектр возможностей обучения детей с параличом (например церебральным в тяжелой форме) и другими расстройствами, а также делают возможным адаптацию перенесших инсульт или попавших в аварию. С видео работающего прототипа вы можете ознакомиться здесь.
Подробнее об этой и смежных темах на канале Дизайн образования