Найти в Дзене
Shazoo

Neuralangelo от NVIDIA — ИИ для генерации 3D-объектов из 2D-видео

NVIDIA представила новую модель искусственного интеллекта под названием Neuralangelo, способную создавать 3D-копии объектов на основе 2D-видео, будь то классические скульптуры, обычные грузовики или здания. Neuralangelo выбирает несколько кадров, показывающих объект с разных ракурсов в 2D-видео, чтобы получить четкое представление о его глубине, размере и форме. Затем он создает грубое 3D-представление объекта, после чего оптимизирует его, чтобы максимально точно передать детали реального объекта. Как заявляет компания, новая модель использует технологии своего предшественника — Instant NeRF, чтобы точно воспроизводить самые тонкие детали любого объекта. Это включает в себя текстуру, узоры и цветовые оттенки. NVIDIA отмечает, что способность Neuralangelo передавать сложные текстуры, такие как шероховатость кровельной черепицы и гладкость мрамора, "значительно превосходит предыдущие методы". Она даже достаточно хороша для создания виртуальных объектов из видео, снятых на смартфоны, что

NVIDIA представила новую модель искусственного интеллекта под названием Neuralangelo, способную создавать 3D-копии объектов на основе 2D-видео, будь то классические скульптуры, обычные грузовики или здания. Neuralangelo выбирает несколько кадров, показывающих объект с разных ракурсов в 2D-видео, чтобы получить четкое представление о его глубине, размере и форме. Затем он создает грубое 3D-представление объекта, после чего оптимизирует его, чтобы максимально точно передать детали реального объекта.

Как заявляет компания, новая модель использует технологии своего предшественника — Instant NeRF, чтобы точно воспроизводить самые тонкие детали любого объекта. Это включает в себя текстуру, узоры и цветовые оттенки. NVIDIA отмечает, что способность Neuralangelo передавать сложные текстуры, такие как шероховатость кровельной черепицы и гладкость мрамора, "значительно превосходит предыдущие методы". Она даже достаточно хороша для создания виртуальных объектов из видео, снятых на смартфоны, что может облегчить задачу создания 3D-реконструкций для проектов. Более того, это быстрое решение: из NVIDIA Research сообщили, что инструмент может создавать 3D-сцены всего за два часа.

Минг-Ю Лю, соавтор статьи о Neuralangelo, заявил, что это "в конечном итоге позволит разработчикам импортировать детализированные объекты — будь то маленькие статуи или огромные здания — в виртуальные среды для видеоигр или цифровых двойников в промышленности". В видео выше, демонстрируются возможности этой технологии.

NVIDIA утверждает, что она может создавать пейзажи в большом масштабе из видео с дронов, облегчая разработчикам воссоздание реальных мест в их играх. У нее есть и множество других потенциальных применений, включая робототехнику, виртуальную реальность, архитектуру и, конечно же, искусство.

Исследовательский отдел компании представит Neuralangelo на конференции по компьютерному зрению и распознаванию образов, которая пройдет с 18 по 22 июня в Ванкувере.

Комментарии на сайте