Ученые из Университетского колледжа Лондона совершили обучили искусственный интеллект реконструировать видеоролики на основе активности мозга мышей. Используя данные о работе отдельных клеток зрительной коры, исследователи смогли с высокой точностью воссоздать то, что видели животные. Этот метод открывает новые возможности для изучения механизмов зрительного восприятия.
Технологии чтения мыслей развиваются стремительно и за пределами фундаментальной науки. В подобных исследованиях на людях ученые используют алгоритмы для декодирования не только видео, но и внутренней речи. Это позволяет парализованным пациентам общаться с миром. Синтез данных активности мозга и нейросетей в будущем поможет создать идеальные зрительные протезы для слепых, транслируя видео с камер прямо в кору.
В последние годы исследователи активно изучают, как мозг расшифровывает сигналы, поступающие от органов зрения. Ранее подобные эксперименты проводились в основном на людях с использованием функциональной магнитно-резонансной томографии, которая позволяла декодировать визуальную информацию.
Но новая работа британских специалистов вывела исследования на качественно иной уровень благодаря фиксации активности отдельных клеток. Вместо того чтобы полагаться на общие изменения кровотока в мозге, как при фМРТ, ученые применили метод микроскопической визуализации. Они отслеживали уровень кальция в клетках зрительной коры мышей, что позволяло точно определять моменты возбуждения каждого конкретного нейрона.
Для анализа данных была адаптирована динамическая нейросетевая модель. Алгоритм учитывал не только видеоряд, показанный грызунам, но также их движения и изменения диаметра зрачков. Сопоставляя реальную активность нейронов с прогнозируемой, ИИ начинал с абсолютно пустого экрана и постепенно, пиксель за пикселем, корректировал изображение. В результате система научилась генерировать высококачественное видео, основываясь исключительно на сигналах мозга. Работа опубликована в журнале eLife.
Искажения как свойство восприятия
Успешное обучение модели позволило авторам эксперимента воссоздавать десятисекундные ролики, которые мыши смотрели впервые. Точность реконструкции напрямую зависела от количества задействованных в анализе нейронов, что подтвердило важность сбора максимально полных массивов биологических данных.
Сравнение оригинальных кадров и полученного результата показало минимальные временные задержки и высокую степень соответствия. Теперь исследователи планируют использовать новую технологию для изучения фундаментальных различий между объективной реальностью и тем, как ее воспринимает живой организм.
Разработчики стремятся понять, почему внутреннее представление визуальной информации порой искажается, и какие именно факторы влияют на эти изменения. Ведущий автор работы доктор Джоэль Бауэр отметил: «В наших головах нет идеального представления о мире. Процесс обработки визуальной информации искажает наше восприятие, изменяя данные. Это отклонение между реальностью и репрезентацией в мозге не обязательно является ошибкой, это скорее особенность, отражающая то, как наш разум интерпретирует и дополняет сенсорную информацию. Мы хотим понять, как это происходит».