Модель искусственного интеллекта ImageBind, которая пока находится на стадии разработки, способна обрабатывать шесть типов данных: текст, звук, фото и видео, температуру, а также информацию о глубине и движении объектов.
Разработчики платформы пытаются обучить её работать с этими данными так же, как с текстом или изображениями, чтобы будущая система смогла по запросу сгенерировать целостную виртуальную реальность. Например, если попросить её сымитировать морское путешествие, она поместит пользователя на корабль с шумом волн на заднем плане, дополнив его раскачивающейся палубой и океанским бризом. Отправиться в путешествие под парусом нейронки мы пока не можем – но можем затестить демонстрационную версию.
