Компания NVIDIA представила новую нейронную сеть Instant NeRF — она моментально «склеивает» серию 2D-фото и дорисовывает изображение до трехмерной сцены. Эту нейросеть назвали «Полароидом будущего», поскольку готовая 3D-модель получается за считанные секунды.
Instant NeRF использует инверсный рендеринг для аппроксимации поведения света в реальном мире, что позволяет реконструировать 3D-сцену из нескольких 2D-изображений, снятых под разными углами. Модели требуется всего несколько секунд, чтобы обучиться на нескольких десятках неподвижных фотографий. Также нейросеть должна учитывать данные о ракурсах камеры, с которых были сделаны снимки. Лучше всего технология работает с кадрами, где минимум движения и лишь один главный объект. В противном случае 3D-сцена, созданная искусственным интеллектом, может быть размытой.
Instant NeRF можно использовать для создания аватаров или сцен для виртуальных миров, захвата участников видеоконференций и их окружения в 3D.
