979 подписчиков
Учёные с помощью нейросети расшифровали, о чём думает человек.
Американские учёные отчитались об успешном испытании семантического декодера — системы на базе МРТ и нейросети, которая позволяет понять, о чём думает человек. Он может помочь людям, которые потеряли возможность общаться языком, жестами и текстом.
Это первая система, способная реконструировать непрерывную речь без импланта в мозге. Она работает на базе идей, семантики и значений, а не конкретных слов. То есть, позволяет передать мысль, но не точные формулировки.
Для этого добровольцам провели инструктаж и поместили их в аппарат функциональной магнитно-резонансной томографии (фМРТ). Там они слушали подкасты, придумывали истории и смотрели видео без звука. Полученные данные скормили нейронной языковой модели на базе GPT и смогли восстановить общую идею того, что слышали или думали люди.
Оказалось, что хотя нейросеть плохо справляется с личными местоимениями, она способна перефразировать, что слышит пациент. И даже когда испытуемые придумывали собственные истории или смотрели немое кино, декодер мог уловить основные мысли и передать их.
Поскольку фМРТ выполняется не мгновенно, она не подходит для улавливания каждого слова. Но с её помощью можно получить смесь из информации, которую пациент думал в течение нескольких секунд. В результате можно отследить, как развивалась идея в голове человека, хотя точные формулировки и теряются в процессе.
1 минута
3 мая 2023