Новая методика «ментальных субтитров» генерирует описания того, что человек видит или представляет, основываясь на его мозговой активности, и делает это с впечатляющей точностью. Она расшифровывает образы до того, как мозг облечет мысли в слова, в отличие от старых аналогов. Возможно, эта разработка сможет помочь людям с нарушениями речи, например, вызванными инсультом.
Ученые уже более десяти лет предсказывают, что человек видит или слышит, анализируя его мозговую активность. Но разобрать сложный контент вроде короткометражек или, например, абстрактных форм — это трудная задача.
В методе нейробиолога Томоясу Хорикавы из лабораторий NTT Communication Science (Япония) языковая модель ИИ (для анализа текстовых описаний более чем 2000 видео) превратила каждое описание в уникальную числовую «смысловую сигнатуру». Отдельный инструмент ИИ обучили на сканах мозга шести участников находить шаблоны мозговой активности, соответствующие каждой смысловой сигнатуре, когда испытуемые смотрели видео. После тренировки декодер анализировал свежий скан мозга зрителя и выдавал смысловой код. Соответствующий ей нарратив искал другой генератор текста на ИИ.
Эксперимент повторили с воспоминаниями: участники вспоминали видеоролики — и модели ИИ успешно сгенерировали описания этих воспоминаний, продемонстрировав, что мозг, по-видимому, использует схожее представление как для просмотра, так и для воспоминания.