Apple опубликовала два новых научных отчёта в своём блоге о машинном обучении. Они раскрывают, над какими возможностями может работать Apple Intelligence в будущем. Один из проектов направлен на улучшение фотограмметрии, второй — на создание интеллектуального видеоассистента, способного реагировать в реальном времени.
Matrix3D: объекты из 2D в 3D за пару кадров
Первая ИИ-модель — Matrix3D — представляет собой мощный инструмент для фотограмметрии. В отличие от традиционного подхода, где каждый этап (глубина, ракурс, построение модели) требует отдельных алгоритмов и десятков или сотен изображений, Matrix3D справляется с задачей при помощи всего двух-трёх кадров.
Это стало возможным благодаря единой архитектуре и особой методике обучения — модель «заполняет пробелы» в неполных данных и реконструирует трёхмерные объекты с высокой точностью. Такой подход уже может использоваться, например, в Vision Pro, где Apple применяет ИИ для создания 3D-изображений даже из обычных фото.
StreamBridge: видеоассистент, который реагирует сам
Вторая модель, StreamBridge, представляет собой «стримингового ассистента», способного анализировать видеопоток в режиме реального времени. В отличие от ИИ-систем, которые обрабатывают уже записанные ролики, этот инструмент способен вести диалог по ходу видео, распознавать объекты и подсказывать действия без запроса пользователя.
Например, если вы рисуете, StreamBridge может начать комментировать ваши шаги и давать советы, будто это опытный наставник. Модель может стать основой для новых функций в Siri или приложении «Камера», обеспечив интеллектуальную поддержку при взаимодействии с окружающим миром.
Будущее Apple Intelligence
Обе модели могут стать основой для следующих поколений инструментов Apple Intelligence. Matrix3D открывает возможности для быстрого 3D-моделирования и дополненной реальности, а StreamBridge — для умного анализа видеоконтента и помощи пользователю в реальном времени.
Apple всё активнее продвигает ИИ-технологии, интегрируя их в повседневные функции — от обработки писем до создания изображений. Новые исследования подтверждают: компания не просто следует трендам, а готовит фундамент для качественно нового пользовательского опыта.
Ещё по теме: