DG-Mesh реконструирует высококачественную динамическую 3D-сетку с согласованными вершинами из монокулярного видео.
В пайплайне используются 3D-гауссовы всплески для представления динамических сцен и дифференцируемые алгоритмы для построения полигонов.
DG-Mesh позволяет отслеживать движение вершин, упрощая текстурирование динамических объектов.
Метод эффективно использует память и полностью дифференцируем, что позволяет выполнять оптимизацию 3D-сетки целевого объекта напрямую.
В репозитории на Github представлен код для локальной тренировки с использованием датасетов:
- D-NeRF https://www.dropbox.com/scl/fi/cdcmkufncwcikk1dzbgb4/..
- DG-Mesh https://drive.google.com/file/d/1yBga2DsIKG6zQK9V2Wex..
- NeuralActor https://vcai.mpi-inf.mpg.de/projects/NeuralActor/
Кастомный датасет, снятый на Iphone 14 Pro и обработанный в Record3D, RealityCheck и маскированный в DEVA.
🖥 Локальный запуск:
conda create -n dg-mesh python=3.9
conda activate dg-mesh
conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
# Install nvdiffrast
pip install git+https://github.com/NVlabs/tiny-cuda-nn#subdirectory=bindings/torch
pip install git+https://github.com/NVlabs/nvdiffrast/
# Install pytorch3d
export FORCE_CUDA=1
conda install -c fvcore -c iopath -c conda-forge fvcore iopath -y
pip install "git+https://github.com/facebookresearch/pytorch3d.git"
# Clone this repository
git clone https://github.com/Isabella98Liu/DG-Mesh.git
cd DG-Mesh
# Install submodules
pip install dgmesh/submodules/diff-gaussian-rasterization
pip install dgmesh/submodules/simple-knn
# Install other dependencies
pip install -r requirements.txt
🟡 Страница проекта https://www.liuisabella.com/DG-Mesh/
🖥 GitHub [ Stars: 234 | Issues: 6 | Forks: 2 ] https://github.com/Isabella98Liu/DG-Mesh
🟡 Arxiv https://arxiv.org/abs/2404.12379
#Video2Mesh #3D #ML #NeRF