Apple опубликовала в своем блоге Machine Learning два исследования, посвященных новым моделям искусственного интеллекта — Matrix3D и StreamBridge. Компания продолжает активно развивать направление ИИ, демонстрируя свои наработки научному сообществу. Чувствуется рука «академика» Джона Джанандреа.
Matrix3D представляет собой модель для создания трехмерных объектов из обычных фотографий. В отличие от традиционных методов фотограмметрии, требующих сотни снимков, новая технология справляется всего с двумя-тремя изображениями. Система самостоятельно определяет глубину, положение объекта и синтезирует недостающие ракурсы. Похожая технология уже используется в Apple Vision Pro для преобразования обычных фотографий в объемные.
Вторая модель, StreamBridge, работает с видео в режиме реального времени. Она может отвечать на вопросы о происходящем в кадре, определять местоположение и распознавать объекты. Но главное преимущество — способность давать пошаговые инструкции без дополнительных запросов, анализируя происходящее в реальном времени.
Если Google на конференции I/O 2024 показала ИИ-систему, отвечающую на вопросы по записанному видео, то StreamBridge идет дальше — она работает с прямым потоком видео и может давать рекомендации на основе меняющегося изображения. В будущем эта технология может появиться в Siri или приложении «Камера».
Matrix3D, вероятно, найдет применение в следующих поколениях Apple Vision Pro, над которыми, по слухам, уже работает компания. Новая модель фотограмметрии сделает создание трехмерного контента более доступным для пользователей.
