Исследователи из Google DeepMind и Тюбингенского университета представили SMERF - новую ИИ технологию, которая позволяет в режиме реального времени осуществлять 3D-рендеринг больших сцен, например целых домов, на различных устройствах, включая смартфоны и ноутбуки. Читай до конца, чтобы быть в курсе самых передовых новостей в мире высоких технологий.
♻️В качестве энергообмена - ставим лайки, сохраняем в заметки, оставляем комменты, делимся с коллегами! ииииии — Полетели🚀
✅ SMERF рисует реальность кистью, обмакнутой в фотореализм
SMERF расшифровывается как Streamable Memory Efficient Radiance Fields. Это система искусственного интеллекта, способная создавать потрясающе реалистичные, большие 3D-среды на основе всего лишь нескольких изображений или видео. Думайте о ней как о сверхмощном 3D-принтере, который создает мир пиксель за пикселем, но с таким уровнем детализации, что отпадет челюсть.
✅ Что делает SMERF особенным?
- Точность до сантиметра: SMERF может рендерить сцены с невероятной точностью, передавая даже мельчайшие детали, такие как травинки или трещины в стене. Такой уровень реализма не имеет аналогов в мире VR. Нет размытым текстурам и неровным краях.
- Рендеринг в реальном времени: SMERF может создавать и рендерить окружение на лету, а значит, вы сможете исследовать огромные VR-миры без единой заминки. Представьте, как вы пролетаете над фотореалистичным городом или погружаетесь в коралловый риф, и все это рендерится плавно в режиме реального времени. Больше не нужно ждать загрузки пейзажей.
- Эффективность памяти: В отличие от своего предшественника, MERF, SMERF требует значительно меньше вычислительной мощности и памяти. Это означает, что он может работать на более широком спектре устройств, от высококлассных ПК до мобильных гарнитур, что потенциально может принести VR в массы.
✅ Возможности применения SMERF
Представьте, что вы изучаете исторические достопримечательности в потрясающих деталях, посещаете виртуальные концерты с реалистичными аватарами или даже проектируете дом своей мечты в идеальном VR. В мире игр SMERF может принести нам гиперреалистичные открытые миры с беспрецедентным погружением, стирая границы между реальностью и виртуальностью.
Конечно, как и любая новая технология, SMERF все еще находится на ранней стадии развития. Есть проблемы, которые предстоит преодолеть, например, эффективная работа с динамическим освещением и крупномасштабными средами. Но потенциал этой технологии неоспорим, и ее влияние на мир VR может быть поистине преобразующим.
✅ SMERF обучается на основе Zip-NeRF
SMERF специализируется на изучении больших 3D-рендерингов, таких как целые дома. Команда использует иерархическую схему разбиения модели, в которой разные части пространства и изучаемые параметры представлены разными MERF. Это увеличивает емкость модели и одновременно ограничивает требования к вычислительной мощности и памяти - такие большие 3D-рендеринги не могут быть визуализированы в реальном времени с помощью классических NeRF.
✅ Качество рендеринга SMERF
Чтобы улучшить качество рендеринга SMERF, исследователи используют дистилляцию "учитель-ученик", в которой уже обученная высококачественная модель Zip-NeRF ("учитель") используется для обучения новой модели MERF ("ученик"). Такой подход позволяет перенести детализацию и качество изображения более мощной модели Zip-NeRF в более эффективную и быструю структуру, что особенно полезно для приложений на менее мощных устройствах, таких как смартфоны и ноутбуки.
SMERF отображает фотореалистичные 3D-пространства в реальном времени через веб-браузер.
После обучения SMERF обеспечивает навигацию в веб-браузере с шестью степенями свободы и рендеринг в реальном времени на популярных смартфонах и ноутбуках.
Возможность рендеринга больших 3D-сцен в реальном времени важна для множества приложений, включая видеоигры, виртуальную и дополненную реальность, а также профессиональные приложения для дизайна и архитектуры. В Google эта технология может быть использована, например, для Immersive View.
✅ Ограничения модели
Хотя метод обеспечивает превосходное качество реконструкции и эффективность хранения, он связан с высокой стоимостью хранения, длительным временем загрузки и большими затратами на обучение. Тем не менее, работа показывает, что NeRFs и аналогичные поля излучения могут иметь преимущества перед 3D-гауссовым расщеплением.
➡️ Ссылку на более подробную информацию о проекте ТУТ➡️ SMERF, VPN не нужен
Держу, мои предприимчивые, вас в курсе Tech-событий!
⚠️ Подписывайтесь на мой блог, чтобы в числе первых узнавать о самых горячих Digital лайфхаках, новостях в сфере технологий и бизнеса.
Всем любви и процветания, ваша Business Svaha
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
#бизнес #businesssvahavdele #нейросети #нейросеть #ии #3d #3dмоделирование #3dвизуализация