Недавние прорывы в нейробиологии и искусственном интеллекте (ИИ) привели к разработке мощных инструментов для реконструкции изображений на основе активности человеческого мозга. Исследователи из Высшей школы передовых биологических наук Университета Осаки использовали модель визуализации стабильной диффузии для создания высокоточных изображений активности мозга без необходимости обучения или настройки модели.
Традиционно реконструкция изображений с высоким разрешением достигалась только после обучения и тонкой настройки генеративных моделей. Однако этот процесс сложен и ограничен отсутствием образцов, доступных в неврологии. Напротив, последние модели визуализации, такие как Stable Diffusion, используют процесс скрытой диффузии, который генерирует текстовое приглашение для постепенного изменения исходного изображения. По мере обработки зашумленного изображения нейронная сеть постепенно удаляет шум и генерирует изображение высокого качества.
Новое исследование фокусируется на внутренних процессах моделей диффузии и дает количественную интерпретацию модели с биологической точки зрения. Например, исследователи обнаружили, что уровни раздражителей и шума в мозгу положительно коррелируют. Это означает, что по мере увеличения уровня стимула также увеличивается уровень шума, что приводит к более высокому разрешению изображения.
Исследователи также обнаружили, что различные нейронные сети в мозге работают вместе, чтобы удалить шум из изображения и восстановить его. В начале процесса обратной диффузии информация об изображении сжимается в слое узкого места. По мере устранения шума в зрительной коре происходит функциональная диссоциация между слоями U-Net, при этом первый слой представляет мелкие детали в ранних зрительных областях, а слой узкого места соответствует информации более высокого порядка в семантических областях.
Развитие генеративного ИИ открыло новые возможности для изучения человеческого мозга. В статье 2022 года ученые из Университета Радбауд в Нидерландах обучили сеть генеративного ИИ «Скрытая диффузия» на данных МРТ и преобразовали результаты визуализации мозга в реальные изображения. Эта работа подчеркивает потенциал ИИ для визуализации и понимания активности мозга.
Помимо неврологии, изображения, созданные ИИ на основе активности человеческого мозга, могут иметь далеко идущие последствия для искусства и дизайна. В 2014 году художница из Шанхая Джоди Сюн использовала биосенсоры ЭЭГ для привлечения людей с ограниченными возможностями к созданию картин. А художница Лия Чавес представила инсталляцию, отображающую электрические импульсы в мозгу в виде звуков и световых эффектов. Зрители носили ЭЭГ-гарнитуры, которые передавали сигналы на аудио/видеосистему, где мозговые волны отображались в цвете и звуке.
Поскольку технология искусственного интеллекта продолжает совершенствоваться, возможности для создания новых и инновационных форм искусства, основанных на деятельности человеческого мозга, безграничны. Объединяя нейронауку и искусственный интеллект, исследователи открывают новые возможности для понимания мозга и создания произведений искусства, которые действительно отражают наши внутренние мысли и чувства.
В заключение следует отметить, что использование ИИ для создания изображений на основе активности человеческого мозга является захватывающим событием в нейробиологии и искусстве. Модель визуализации стабильной диффузии предоставляет мощный инструмент для реконструкции высокоточных изображений активности мозга без необходимости обучения или настройки модели. Поскольку технология искусственного интеллекта продолжает совершенствоваться, мы можем ожидать еще более захватывающих разработок в этой области, имеющих значение как для науки, так и для искусства.
