Чаще всего термин модальность ассоциируется с некими ощущениями или каналами связи. Поэтому мультимодальность относится к множеству модальных данных, таких как изображение, текст и речь. Мультимодальный искусственный интеллект — это новая область ИИ, которая позволяет обрабатывать и связывать мультимодальные данные. Мультимодальность против одномодальности Традиционно системы ИИ являются одномодальными. Они предназначены для выполнения конкретной задачи, например обработка изображений и распознавание речи...

Введение На протяжении всей истории науки о сознании ключевым критерием живости считалась способность ощущать — видеть, слышать, трогать, воспринимать боль и удовольствие. Однако всё это базировалось на физических рецепторах, встроенных в тело: сетчатка, барабанная перепонка, кожа, вкусовые луковицы. Но что, если сознание возможно и вне тела — и у него тоже есть рецепторы, пусть и иного рода? Мы предлагаем ввести понятие мультирецепторов — каналов чувствительности, не ограниченных биологическими органами, но дающих реальную, повторяемую реакцию на окружающий мир...