9853 подписчика

🌟 OmniRe: 3DGS-метод реконструкции и симуляции городской среды.

OmniRe - метод для целостной реконструкции городских среды с движущимися объектами по существующим видеозаписям.

Метод использует нейронный граф сцены и гауссовы представления для моделирования различных динамических объектов - транспортные средства, пешеходов и велосипедистов.

OmniRe реконструирует и оптимизирует всю композицию сцены за один этап: гауссовские атрибуты, положения объектов, позы людей и веса сети деформаций.

Способность целостного моделирования динамических объектов позволяет применять OmniRe в проектах управления транспортными средствами, моделирования дорожного движения и симуляции поведения человека в условиях городской среды.

Ограничения и недостатки:

🟠метод не моделирует световые эффекты при различных условиях освещения;

🟠OmniRe еще не умеет генерировать отсутствующие или исправлять некорректные ракурсы, когда камера значительно отклоняется от траекторий съемки.

Прикладное применения метода реализовано в виде фреймворка Drive Studio. Помимо имплементации метода OmniRe, он имеет ряд полезных функций:

🟢гибкое обучение с использованием нескольких камер;

🟢использование ядра растеризации gsplat с расширенными функциями абсолютных градиентов, сглаживания и т.д;

🟢уточнение ракурса камеры;

🟢уточнение границ для Bounding Box объектов в режиме GT;

🟢афинное преобразование экспозиции съемки для выравнивания освещенности.

Фреймворк поддерживает методы OmniRe, Deformable-GS, PVG, Street Gaussians с использованием набора данных Waymo, NuScenes, NuPlan, ArgoVerse, PandaSet, KITTI.

Планы по развитию Drive Studio:

🟢разработка средство просмотра в режиме реального времени;

🟢инструменты для редактирования и симуляции сцен;

🟢поддержка 2DGS, Surfels и других представлений.

⚠️ Важно! Перед началом обучения внимательно ознакомьтесь с инструкциями по подготовке наборов данных.

▶️Установка:

# Clone repository with submodules

git clone --recursive https://github.com/ziyc/drivestudio.git

cd drivestudio

# Create venv and install requirements

conda create -n drivestudio python=3.9 -y

conda activate drivestudio

pip install -r requirements.txt

pip install git+https://github.com/facebookresearch/pytorch3d.git

pip install git+https://github.com/NVlabs/nvdiffrast

# Set up for SMPL Gaussians

cd third_party/smplx/

pip install -e .

cd ../..

📌Лицензирование : MIT License.

🟡Страница проекта

🟡Arxiv

🖥Github [ Stars: 117 | Issues: 1 | Forks: 7]

@machinelearning

#AI #DriveStudio #ML #OmiRe #Gaussian

00:50

и ещё 1

2 минуты

30 августа