Представьте, что вы заглядываете в сознание пациента, находящегося в коме, или смотрите свой собственный сон на YouTube. С помощью передового сочетания изображений мозга и компьютерного моделирования ученые из Калифорнийского университета в Беркли делают эти футуристические сценарии доступными.
Используя функциональную магнитно-резонансную томографию (фМРТ) и вычислительные модели, исследователям Калифорнийского университета в Беркли удалось декодировать и реконструировать динамический визуальный опыт людей - в данном случае просмотр трейлеров к голливудским фильмам.
Пока что эта технология позволяет восстанавливать только те видеоклипы, которые люди уже просмотрели. Однако, по мнению исследователей, этот прорыв открывает путь к воспроизведению фильмов в наших головах, которые никто не видит, таких как сны и воспоминания.
В конце концов, практическое применение технологии может включать лучшее понимание того, что происходит в сознании людей, которые не могут общаться вербально, таких как жертвы инсульта, пациенты в коме и люди с нейродегенеративными заболеваниями.
Это также может заложить основу для интерфейса мозг-машина, чтобы люди с церебральным параличом или параличом, например, могли управлять компьютером с помощью своего разума.
Тем не менее, исследователи отмечают, что эта технология спустя десятилетия позволяет пользователям читать мысли и намерения других, как это изображено в такой классике научной фантастики, как «Мозговой штурм», в котором ученые записывали ощущения человека, чтобы другие могли их испытать.
Ранее Галлант и его коллеги записывали активность мозга в зрительной коре, когда испытуемый просматривал черно-белые фотографии. Затем они построили вычислительную модель, которая позволила им с поразительной точностью предсказать, на какую картинку смотрит объект.
В своем последнем эксперименте исследователи говорят, что они решили гораздо более сложную проблему, фактически расшифровав сигналы мозга, генерируемые движущимися изображениями.
Нисимото и двое других членов исследовательской группы выступили в качестве субъектов эксперимента, потому что процедура требует, чтобы добровольцы оставались неподвижными внутри сканера МРТ в течение нескольких часов.
Они посмотрели два отдельных набора трейлеров к голливудским фильмам, в то время как фМРТ использовалась для измерения кровотока через зрительную кору, часть мозга, которая обрабатывает визуальную информацию. На компьютере мозг был разделен на маленькие трехмерные кубики, известные как объемные пиксели или «воксели».
«Мы построили модель для каждого вокселя, которая описывает, как информация о форме и движении в фильме отображается на мозговую активность», - сказал Нисимото.
Активность мозга, записанная во время просмотра первого набора клипов, вводилась в компьютерную программу, которая второй за второй училась связывать зрительные образы в фильме с соответствующей мозговой активностью.
Активность мозга, вызванная вторым набором клипов, использовалась для тестирования алгоритма реконструкции фильма. Это было сделано путем ввода 18 миллионов секунд случайных видеороликов YouTube в компьютерную программу, чтобы она могла предсказать активность мозга, которую каждый видеоклип, скорее всего, будет вызывать у каждого испытуемого.
Наконец, 100 клипов, которые компьютерная программа сочла наиболее похожими на клип, который, вероятно, видел субъект, были объединены, чтобы произвести размытую, но непрерывную реконструкцию исходного фильма.
По словам исследователей, реконструкция фильмов с помощью сканирования мозга была сложной задачей, потому что сигналы кровотока, измеренные с помощью фМРТ, изменяются намного медленнее, чем нейронные сигналы, которые кодируют динамическую информацию в фильмах. По этой причине большинство предыдущих попыток расшифровать мозговую активность были сосредоточены на статических изображениях.
«Мы решили эту проблему, разработав двухэтапную модель, которая отдельно описывает лежащую в основе нейронную популяцию и сигналы кровотока», - сказал Нисимото.
В конечном итоге, сказал Нисимото, ученым необходимо понять, как мозг обрабатывает динамические визуальные события, которые мы переживаем в повседневной жизни.
«Нам нужно знать, как мозг работает в естественных условиях», - сказал он. «Для этого нам нужно сначала понять, как работает мозг, пока мы смотрим фильмы».
Другими соавторами исследования являются Томас Населарис из Института неврологии Хелен Уиллс Калифорнийского университета в Беркли; Т. Ву из Объединенной группы выпускников Калифорнийского университета в Беркли по биоинженерии; и Ювал Бенджамини и профессор Бин Ю из Статистического департамента Калифорнийского университета в Беркли.