Нейробиологи годами пытались восстановить изображение из мозговых сигналов. Получалось — но мутно, абстрактно, только статичные картинки. Новая работа, опубликованная в eLife, впервые преодолела этот барьер: из активности зрительной коры мыши воссоздали динамическое десятисекундное видео с точностью более чем вдвое выше предыдущих методов.
Технически всё начинается с записи. Мыши показывают фильмы, а в это время двухфотонная кальциевая визуализация фиксирует отклик тысяч нейронов в первичной зрительной коре — каждая вспышка флуоресценции соответствует нейронному разряду.
Затем данные обрабатывает ИИ-модель DNEM (dynamic neural encoding model). Принцип двухэтапный: сначала модель учится предсказывать реакцию нейронов на произвольное видео, потом процесс инвертируется — модель генерирует видео, которое вызвало бы записанную активность. Стартует с чистого серого кадра и оптимизирует его пиксель за пикселем на протяжении тысяч итераций.
Пиксельная корреляция результата с оригиналом — 0,57 (предыдущий рекорд для статики — 0,24). Качество обеспечил ансамбль из семи моделей: усреднение их реконструкций подавляет высокочастотный шум, который портил результат каждой модели по отдельности. Тесты на синтетических стимулах показали, что система честно упирается в пределы самого мышиного зрения — мелкие детали и очень быстрое движение ей не даются, и это ожидаемо.
Зачем это нужно за пределами лаборатории? Метод позволяет изучать, как мозг трансформирует реальность: что подчёркивает, что игнорирует, как предсказывает следующий кадр. В перспективе — понимание расстройств зрения, более точные нейроинтерфейсы для людей с параличом и, да, возможная визуализация воображаемых сцен у нас в голове.