Microsoft представила TRELLIS 2 для генерации 3D-объектов

Microsoft представила TRELLIS 2, новую версию открытой модели для генерации трехмерных объектов из изображений. Система, основанная на архитектуре с 4 миллиардами параметров, способна создавать детализированные 3D-меши с разрешением до 1536³ пикселей, включая текстуры и материалы, готовые к физически корректному рендерингу. TRELLIS 2 использует инновационное представление данных O-Voxel, кодирующее геометрию и текстурные атрибуты, такие как цвет, шероховатость, металлические поверхности и прозрачность, для получения реалистичных 3D-активов без дополнительной оптимизации.

Модель успешно работает с объектами сложной топологии, включая открытые поверхности и внутренние элементы, что является сложностью для традиционных методов. Генерация объекта разрешением 512³ занимает около трех секунд на GPU NVIDIA H100, а в максимальном разрешении 1536³ – примерно одну минуту.

В основе решения лежит высокопроизводительная схема преобразования данных из 2D в 3D с использованием структурированного латентного пространства и 3D VAE, обеспечивающих компактность представления и высокую точность. Это делает процесс генерации эффективнее традиционных воксельных методов и упрощает интеграцию в разработку игр, визуализацию и AR/VR-контента.

TRELLIS 2 доступен как опенсорсный проект на GitHub с кодом, моделью и примерами, а также демонстрируется на платформе Hugging Face. Microsoft позиционирует проект как инструмент для исследований и разработки в области 3D-генерации, полезный для разработчиков, дизайнеров и студий.