Ученые из Университета Западного Онтарио разработали метод 4D-визуализации работы мозга, который показывает, как он обрабатывает визуальную и аудиальную информацию одновременно. Их работа поможет улучшить искусственный интеллект, сделав его более похожим на человеческое восприятие.
Для эксперимента ученые использовали функциональную магнитно-резонансную томографию (фМРТ) и электроэнцефалографию (ЭЭГ), чтобы проанализировать реакцию мозга на 60 коротких видеороликов с соответствующими звуками. Они выяснили, что первичная зрительная кора обрабатывает не только визуальные, но и низкоуровневые звуковые сигналы. Однако первичная слуховая кора отвечает исключительно за обработку аудиоинформации.
По словам ведущего автора исследования, профессора компьютерных наук Ялды Мохсензаде, такое неравномерное распределение функций может дать новые идеи для создания более реалистичных нейросетей. Современные алгоритмы машинного обучения в основном оптимизированы под решение конкретных задач, но не всегда ориентируются на принципы работы человеческого мозга.
Исследование показало, что зрение играет доминирующую роль в формировании восприятия. Несмотря на важность слуха, именно визуальная информация дает наиболее полное представление о происходящем. Комбинированный подход к визуализации мозга позволил ученым создать детальную 4D-карту, которая показывает, как сенсорные системы взаимодействуют между собой.
Эти выводы могут изменить принципы построения алгоритмов обработки мультимедийных данных. Большинство современных ИИ-систем анализируют изображения и видео без учета звука. Новые разработки позволят улучшить работу нейросетей, особенно в области анализа аудиовизуальной информации.
Дальнейшие исследования в лаборатории когнитивной нейробиологии и искусственного интеллекта сосредоточатся на улучшении глубинных нейросетей, которые способны обрабатывать зрительную и слуховую информацию одновременно.