Компания Nvidia представила модель искусственного интеллекта Neuralangelo, которая реконструирует трехмерные сцены из обычных видеороликов
Модель Neuralangelo позволяет создавать реалистичные виртуальные копии зданий, скульптур и других объектов реального мира. Затем их можно экспортировать в сторонние приложения, чтобы редактировать в приложениях для дизайна, искусства, разработки игр или создания цифровых двойников. «Нейроанджело» умеет обрабатывать даже сложные текстуры, включая черепицу, стекла и мрамор.
Модель использует технологию, лежащую в основе Nvidia Instant NeRF, чтобы отобразить даже мельчайшие детали. Используя 2D-видео объекта или сцены, снятой с разных ракурсов, Neuralangelo определяет глубину, размер и форму по нескольким кадрам. После этого система создает грубое трехмерное представление сцены, а затем оптимизирует визуализацию и делает детали более четкими, отсекая все лишнее, словно скульптор.
«Нейроанджело» стала результатом реализации алгоритма рендеринга и обучения для конкретной задачи на мелкозернистом графическом процессоре, где управлять потоком можно намного быстрее, чем в плотных тензорах. Вдобавок Nvidia разработала метод кодирования хэш-сетки с несколькими разрешениями, который не зависит от задачи и обеспечивает лучший компромисс между скоростью и качеством.
Здесь мы рассказываем, как устроены современные технологии кинопроизводства:
Unsplash