Представляем StyleNeRF, генеративную модель с поддержкой 3D для фотореалистичного синтеза изображений, которую можно обучать на неструктурированных 2D-изображениях. Существующие подходы либо не могут синтезировать изображения высокого разрешения с мелкими деталями, либо дают значительные артефакты на изображении, несовместимые с 3D. Кроме того, многим из них не хватает контроля над атрибутами стиля и правильного ракурса для 3D-камеры. StyleNeRF интегрирует поле нейронного излучения (NeRF) в генератор для решения вышеупомянутых задач, то есть повышения эффективности рендеринга и согласованности 3D для создания изображений с высоким разрешением. StyleNeRF выполняет объемную визуализацию для создания карты объектов с низким разрешением и дает возможность постепенно повышать дискретизацию в 2D . Чтобы убрать различне несоответствия, вызванные повышающей дискретизацией 2D, StyleNeRF предлагает несколько схем, в том числе улучшенный повышающий дискретизатор и различные функции при регуляризации модели. Благодаря этим функциям StyleNeRF может синтезировать изображения с высоким разрешением с высокой скоростью, сохраняя согласованность 3D изображения с высоким качеством. StyleNeRF позволяет управлять позами камеры и различными уровнями стилей. Он также решает сложные задачи, включая увеличение и уменьшение масштаба, смешение стилей, инверсию и семантическое редактирование.
Код: https://github.com/facebookresearch/StyleNeRF
Видео: http://jiataogu.me/style_nerf
Статья: https://arxiv.org/abs/2110.08985
Проект: http://jiataogu.me/style_nerf/
Датасет: https://github.com/facebookresearch/StyleNeRF#dataset
Еще бльше о нейроных сетях : https://t.me/ai_machinelearning_big_data