Найти в Дзене

Новая нейросеть от Apple

а формирует их. В 2025 году главной интригой стало то, как быстро компания интегрирует 3D Gaussian Splatting в свои продукты. Технология, ещё недавно остававшаяся экспериментом исследователей, превратилась в ключевой инструмент экосистемы Apple и уже влияет на то, как пользователи снимают, хранят и взаимодействуют с пространственным контентом. Что такое 3D Gaussian Splatting Идея проста: вместо того чтобы строить тяжёлый меш из миллионов треугольников, сцену описывают миллионы маленьких «облаков» — 3D-гауссиан. Каждое облако несёт информацию о цвете, прозрачности, повороте и масштабе. GPU быстро сортирует их по глубине и спроецирует на экран, давая фотореалистичную картинку без традиционной геометрии. Результат — высокая детализация при скромном весе файла и нативная поддержка реального времени. Как Apple ускорила внедрение; Компания сделала ставку не на открытые демки, а на закрытый конвейер. Весной 2025 года разработчики обнаружили в iOS 18.4 скрытый фреймворк RealitySplat, который

Apple давно не просто следит за трендами в компьютерном зрении,

а формирует их. В 2025 году главной интригой стало то, как быстро компания интегрирует 3D Gaussian Splatting в свои продукты. Технология, ещё недавно остававшаяся экспериментом исследователей, превратилась в ключевой инструмент экосистемы Apple и уже влияет на то, как пользователи снимают, хранят и взаимодействуют с пространственным контентом.

Что такое 3D Gaussian Splatting

Идея проста: вместо того чтобы строить тяжёлый меш из миллионов треугольников, сцену описывают миллионы маленьких «облаков» — 3D-гауссиан. Каждое облако несёт информацию о цвете, прозрачности, повороте и масштабе. GPU быстро сортирует их по глубине и спроецирует на экран, давая фотореалистичную картинку без традиционной геометрии. Результат — высокая детализация при скромном весе файла и нативная поддержка реального времени.

Как Apple ускорила внедрение;

Компания сделала ставку не на открытые демки, а на закрытый конвейер. Весной 2025 года разработчики обнаружили в iOS 18.4 скрытый фреймворк RealitySplat, который превращает обычное видео с LiDAR или даже обычной камеры в сцену Gaussian Splatting за секунды. Процесс полностью локальный: нейросеть на Apple Silicon выделяет ключевые кадры, оценивает глубину, строит облако точек и конвертирует его в набор гауссиан. Пользователь не видит ни mesh-редакторов, ни ручной разметки: достаточно обойти объект кругом, как при панорамной съёмке.

Где это уже работает;

1. Apple Vision Pro 2. Обновление visionOS 3.0 добавило нативный просмотр сцен формата .usplz — собственный контейнер Apple, внутри которого хранятся гауссианы и метаданные. Шлем теперь показывает фотограмметрические сцены без задержек, а благодаря foveated rendering картинка в центре поля зрения выдаёт до 60 млн эквивалентных треугольников при 90 кадрах в секунду.

2. Функция Object Capture 2.0. Сервис перестал быть «декорацией» для профессионалов: достаточно iPhone 15 Pro или новее, и за две минуты можно получить сплэт-объект весом 5–8 МБ, который сразу экспортируется в USD-формат и поддерживает физику. Разработчики AR-игр уже используют его для быстрого прототипирования реквизита.

3. Объёмные фотографии. В приложении Photos появился режим Spatial Shot: пользователь нажимает спуск, делает полукруг, и система сохраняет «живую» скульптуру. Фото можно масштабировать, смотреть сзади и даже освещать виртуальным фонариком. Apple намекает, что такие снимки займут в будущем столько же места, как и обычные Live Photo.

4. Карты и навигация. В июне 2025 года Apple Maps начали тестировать слой Look Around 3D, где улицы Сан-Франциско и Лондона показаны сплэтами. Данные собираются автомобильными флотами, но вес одного квартала — десятки мегабайт вместо гигабайтов традиционных текстур.

Почему это важно разработчикам;

Apple опубликовала референс-реализацию компрессии G-PCC-Apple, которая уменьшает размер сцены ещё на 40% без потери визуального качества. SDK доступен через MetalFX, поэтому конвертация в гауссианы работает на всех устройствах с A17 и M2. Epic Games уже анонсировала плагин для RealitySplat в Unreal Engine 5.5, а Adobe заявила, что Substance 3D Sampler научится экспортировать сплэты напрямую, минуя mesh.

Ограничения, о которых не говорят;

Технология пока плохо справляется с прозрачными и динамическими объектами: стеклянные бутылки или мерцающие огни превращаются в размытые облака. Кроме того, сцены с сильными пересечениями поверхностей требуют ручной доочистки. Apple решает это гибридным подходом: жёсткие части остаются mesh, мелкие детали — сплэтами, а переходы сглаживаются нейросетью.

Что дальше; Инсайдеры говорят, что к 2026 году Apple планирует запустить «spatial App Store» — отдельный раздел, где продавать не приложения, а объёмные сцены: мебель, достопримечательности, образовательные модели. Покупатель загружает сплэт, мгновенно ставит его в своё пространство и меняет масштаб, как будто перед ним настоящий предмет. Продавцу не нужно делать 3D-модель и раскладывать UV-развёртку: снял видео, нажал «загрузить», и товар готов к продаже.

Таким образом, 3D Gaussian Splatting для Apple стала не просто лабораторным трюком, а новым базовым слоем, на который будет опираться вся экосистема дополненной и смешанной реальности. Компания делает ставку на мгновенную захват контента, минимальные размеры файлов и фотореализм без компромиссов. Если всё пойдёт по плану, уже через год «захватить мир в карман» окажется буквально возможно: достаточно будет обойти вокруг объекта смартфоном, и он навсегда сохранится в трёх измерениях.

Apple
384,5 тыс интересуются