Шанхайский институт искусственного интеллекта INSIDE в сотрудничестве с больницей Хуашань при Фуданьском университете добился прорыва в работе интерфейса «мозг-компьютер», передает «Синьхуа». В ходе эксперимента с участием 10 человек с нейрочипами компьютер расшифровал их мысли на китайском языке.
Интерфейс «мозг-компьютер» (BCI) — это передовая междисциплинарная технология, обеспечивающая обмен информацией между мозгом и внешними устройствами, с широкими перспективами применения в медицине, реабилитации, образовании и других сферах. Шанхай первым в Китае начал системную разработку ключевых технологий BCI, что уже привело к ряду впечатляющих достижений.
Очередным стало воспроизведение мысленной речи. Этот успех оказался возможным благодаря высококачественной базе данных внутричерепной электроэнцефалографии (ЭЭГ), накопленной больницей Хуашань.
«Благодаря крупнейшей в мире базе данных внутричерепной ЭЭГ наша команда разработала большую модель декодирования мозговых сигналов, аналогичную базовой модели ChatGPT, которая может точно распознавать намерения по активности мозга», — пояснил профессор Ли Мэн, главный научный сотрудник INSIDE.
Одна из основных функций этой модели — интерпретация речевых сигналов мозга. Расшифровка китайской речи намного сложнее, чем на других языках: если в английском около 50 фонем, то в китайском из-за комбинаций инициалей, финалей (условно — гласных и согласных) и четырех тонов их число превышает 400. Однако благодаря передовой технологии стереотаксического декодирования активности нескольких зон мозга эту сложную лингвистическую задачу удалось решить. На данный момент достигнута точность свыше 83% для инициалей и 84% для финалей, что стало рекордом в КНР.
Участниками клинических испытаний стали пациенты с эпилепсией, которым ранее были имплантированы стереотаксические электроды. На этапе обучения они потратили около 100 минут на чтение текстов, пока электроды считывали сигналы из разных областей мозга. Эти данные использовались для тонкой настройки модели, которая разбивала произнесенные иероглифы на инициали и финали, точно определяя соответствующие паттерны мозговой активности. Затем для каждого участника по схеме «инициали/финали → слоги → иероглифы → предложения» были созданы индивидуальные алгоритмы декодирования.
В результате на основе всего 54 иероглифов, использовавшихся в обучении, система смогла распознать 1951 часто используемый иероглиф с коэффициентом экстраполяции 1:36, что означает высокую способность к обобщению. На расшифровку полного предложения без ограничения по длине уходит не более полусекунды.
По словам Ли Мэна, этот прорыв в BCI означает возможность точного и эффективного преобразования мыслей в текст. В будущем технология не только вернет речь пациентам с ее потерей в результате, например, инсульта или бокового амиотрофического склероза. Декодируя мозговые волны, можно будет:
управлять умными устройствами силой мысли, взаимодействовать с метавселенной, создавать картины через мультимодальные ИИ-системы, воплощая мечты в визуальные образы.
Впервые в мире мозг вступил в диалог с ИИ через нейроинтерфейс — видео
Китайский ответ Neuralink — имплант помог человеку играть в шахматы силой мысли
Подписывайтесь и читайте «Науку» в Telegram