Создаём 3D-модели с помощью нейросети NVIDIA Edify 3D

Приветствую!

В целом уже можно начинать рассказывать о таких нейросетях - сильный прогресс за минувший год произошёл в этой области. Начнём с большого гиганта, который скорее всего заберёт себе все лучшие решения и реализует их.

NVIDIA Edify — это инструмент, который выглядит как мечта для разработчиков визуального контента. Его цель — автоматизировать создание визуальных генеративных моделей ИИ для работы с изображениями, 3D-объектами, 360° HDRI, физически обоснованными материалами (PBR) и даже видео. Этот инструмент использует платформу NVIDIA AI Foundry, что позволяет компаниям обучать и настраивать свои модели для создания коммерчески применимых решений.

Что умеет Edify 3D?

Edify 3D фокусируется на 3D-графике, создавая:

• Подробные сетки с реалистичной геометрией.
• Чёткие текстуры и цвета, которые точно передают базовый материал.
• PBR-материалы (материалы, которые выглядят реалистично при разных условиях освещения).

Такой подход отлично подходит для индустрий, где требуется высокий уровень качества:

• Геймдизайн.
• AR/VR (дополненная и виртуальная реальность).
• Кинопроизводство.
• Инженерное моделирование.

Зачем это нужно?

Создание 3D-контента — это адская рутина. Нужно учитывать сложные геометрии, прорисовывать текстуры и подгонять всё под требования производства. На это уходит куча времени и усилий специалистов.

Как работает NVIDIA Edify 3D?

Вот что происходит за кулисами:

1. Модели диффузии создают 2D-изображения объекта с разных ракурсов на основе текстового описания.
2. ControlNet берёт эти изображения и генерирует карты нормалей поверхности (данные о рельефе).
3. Затем всё это объединяется в нейронное представление объекта, из которого создаётся 3D-модель.
4. Для красоты добавляются текстуры 4K, организованные UV-карты и PBR-материалы.

Секрет технологии — использование подхода на основе Transformer. Он позволяет модели понимать связи между частями изображения и строить целостные 3D-объекты буквально за пару минут.

Чем это полезно?

• Сокращает время создания 3D-активов с недель до минут.
• Устраняет проблему нехватки 3D-данных для обучения ИИ.
• Даёт доступ к качественному контенту даже при минимальных исходных данных (например, текстовых подсказках).

Итог

Вы можете попробовать сами создать модель перейдя по ссылке. Бесплатно дают 50 попыток. Форматы для скачивания готовой модели GLB и USDZ.

Спасибо, что дочитали до конца! 🙏

Буду рад вашим комментариям🎤, лайкам🧡 и подпискам на мой канал:

Так же заходите в мою группу в VK и на канал Телеграм.

Вам может понравится: