616,9K подписчиков

Как мозг кодирует значения слов: «кошек» и «птичек» он складывает рядом

«Подслушивая» мозг живых людей, ученые Массачусетского технологического института создали карту нейронов, кодирующих значения различных слов, с самым высоким разрешением. Результаты показывают, что у разных людей мозг использует одни и те же стандартные категории для классификации слов, что помогает нам превращать звук в смысл.

    Как мозг кодирует значения слов: «кошек» и «птичек» он складывает рядом
Как мозг кодирует значения слов: «кошек» и «птичек» он складывает рядом

Исследования того, как мозг распознает и классифицирует слова, идут уже много лет. Но впервые нейробиологи работали на уровне отдельных нейронов коры. Такой точности достичь до сих пор не удавалось никому.

«Подслушивая» мозг живых людей, ученые Массачусетского технологического института создали карту нейронов, кодирующих значения различных слов, с самым высоким разрешением.

Исследование основано на словах только на английском языке. Но это важный шаг на пути к выяснению того, как мозг хранит слова в своей языковой библиотеке, говорит нейрохирург Зив Уильямс из Массачусетского технологического института в Кембридже. Составляя карту перекрывающихся наборов клеток мозга, которые реагируют на различные слова, говорит он, «мы можем попытаться начать строить тезаурус значений».

Работа была опубликована в журнале Nature.

Картографирование значений

   а, Слева: записи одиночных нейронов были получены из левой префронтальной коры головного мозга, в которой доминирует речь. Указаны места записи для записей микрочипа (красный) и нейропикселей (бежевый), а также приблизительное количество областей сети, селективных по языку (коричневый). Справа: потенциалы действия предполагаемых нейронов. b. Потенциалы действия (черные линии) и мгновенная скорость срабатывания (красный график) каждого нейрона были синхронизированы по времени с началом произнесения каждого слова. c. Подход к встраиванию слов для идентификации семантических областей. Здесь каждое слово представлено как 300-мерный вектор.https://www.nature.com/articles/s41586-024-07643-2/figures/1
а, Слева: записи одиночных нейронов были получены из левой префронтальной коры головного мозга, в которой доминирует речь. Указаны места записи для записей микрочипа (красный) и нейропикселей (бежевый), а также приблизительное количество областей сети, селективных по языку (коричневый). Справа: потенциалы действия предполагаемых нейронов. b. Потенциалы действия (черные линии) и мгновенная скорость срабатывания (красный график) каждого нейрона были синхронизированы по времени с началом произнесения каждого слова. c. Подход к встраиванию слов для идентификации семантических областей. Здесь каждое слово представлено как 300-мерный вектор.https://www.nature.com/articles/s41586-024-07643-2/figures/1

Область мозга, называемая слуховой корой, обрабатывает звучащее слово, когда его распознает слух. Но именно префронтальная кора головного мозга, область, где происходит мозговая деятельность высшего порядка, определяет «семантическое значение» слова — его смысл и сущность..

Предыдущее исследование изучало этот процесс путем анализа изображений кровотока в мозге, который является показателем активности мозга. Этот метод позволил исследователям сопоставить значение слов с небольшими участками мозга.

Но Уильямс и его коллеги нашли уникальную возможность посмотреть, как отдельные нейроны кодируют язык в режиме реального времени. Его группа набрала десять человек, которым предстояла операция по поводу эпилепсии, каждому из которых в мозг были имплантированы электроды, чтобы определить источник припадков. Электроды позволили исследователям записывать активность примерно 300 нейронов в префронтальной коре каждого человека.

Когда участники прослушивали несколько коротких предложений, содержащих в общей сложности около 450 слов, ученые записывали, какие нейроны срабатывают и когда. Уильямс говорит, что при каждом слове «загорались» два или три отдельных нейрона, хотя он отмечает, что команда зафиксировала активность лишь очень небольшой доли из миллиардов нейронов префронтальной коры. Затем исследователи рассмотрели сходство между словами, которые активировали одну и ту же активность нейронов.

Нейронный смысл

   а. Процедура агломерационной иерархической кластеризации была проведена для всех проекций слов в пространстве префронтальной коры, полученных на основе данных популяции нейронов. На дереве показаны репрезентативные проекции слов с усеченными ветвями для облегчения визуализации. Слова, которые были связаны меньшим количеством звеньев в иерархии, имеют меньшее кофенетическое расстояние, то есть расстояние между двумя элементами, измеренное по иерархическому дереву. b. Процедура встраивания t-стохастических соседей использовалась для визуализации всех проекций слов (серого цвета) путем их свертывания в общее двумерное многообразие. Для сравнения репрезентативные слова дополнительно имеют цветовую кодировку на основе их исходного назначения семантической области на предыдущем рисунке.https://www.nature.com/articles/s41586-024-07643-2/figures/5
а. Процедура агломерационной иерархической кластеризации была проведена для всех проекций слов в пространстве префронтальной коры, полученных на основе данных популяции нейронов. На дереве показаны репрезентативные проекции слов с усеченными ветвями для облегчения визуализации. Слова, которые были связаны меньшим количеством звеньев в иерархии, имеют меньшее кофенетическое расстояние, то есть расстояние между двумя элементами, измеренное по иерархическому дереву. b. Процедура встраивания t-стохастических соседей использовалась для визуализации всех проекций слов (серого цвета) путем их свертывания в общее двумерное многообразие. Для сравнения репрезентативные слова дополнительно имеют цветовую кодировку на основе их исходного назначения семантической области на предыдущем рисунке.https://www.nature.com/articles/s41586-024-07643-2/figures/5

Слова, на которые реагировал один и тот же набор нейронов, попадали в схожие категории, например, действия или слова, связанные с людьми. Команда также обнаружила, что слова, которые мозг может ассоциировать друг с другом, например «утка» и «яйцо», запускают одни и те же нейроны. Слова со схожим значением, такие как «мышь» и «крыса», запускали паттерны активности нейронов, которые были более похожими, чем паттерны, запускаемые словами «мышь» и «морковь». Другие группы нейронов реагировали на слова, связанные с более абстрактными понятиями,: например, выражающими отношения, такие как, «выше» и «позади».

Категории, которые мозг присваивает словам, были одинаковыми у всех участников эксперимента. Как говорит Уильямс, человеческий мозг группирует значения одинаковым образом.

Нейроны префронтальной коры различают слова не по их звучанию, а только по их значению. Например, когда человек слышит в предложении слово «сын» (son), активируются нейроны, связанные с членами семьи, а не нейроны, связанные со словом «Солнце» (sun), несмотря на то, что эти слова звучат одинаково.

Чтение мыслей

В какой-то степени исследователям удалось определить, что слышат люди, наблюдая за активностью их нейронов. Хотя они не смогли воссоздать точные предложения, они смогли сказать, например, что предложение содержит упоминание животного, действия и еды именно в таком порядке.

«Получить такой уровень детализации и взглянуть на то, что происходит на уровне одного нейрона, очень сильный результат», — говорит Викаш Гилья из Калифорнийского университета в Сан-Диего и главный научный сотрудник компании Paradromics, занимающейся интерфейсом мозг-компьютер. Его впечатлило то, что исследователи смогли определить не только нейроны, соответствующие словам и их категориям, но и порядок, в котором они были произнесены.

Словари в нашем мозге

Как мозг воспринимает и хранит слова, которые мы слышим Язык и культура определяют как наш мозг «читает» эмоции на лицах ИИ «читает» кору головного мозга и распознает, что делает животное

По словам Викаша Гилья, распознавание речи на ее естественной скорости важно для будущей работы по созданию интерфейса мозг-компьютер, которые восстанавливают речь у людей, потерявших эту способность.