Группа исследователей из Чжэцзянского университета и Li Auto представила Street Gaussians — новый метод моделирования и представления оживлённых городских улиц при помощи набора облачных точек с семантическими весами и привязанных к ним 3D-гауссианами.
Чтобы преодолеть ограничения существующих подходов, в методе оптимизируется каждое облачко точек объекта, включая отслеживаемые позы и динамическую модель внешнего вида на базе сферических гармоник.
По словам исследователей, такое явное представление позволяет легко компоновать объекты и фон, расширяя возможности редактирования сцены и достигая скорости 133 кадра в секунду при разрешении 1066×1600 после всего получаса тренировки.
Предложенный метод оценивался на нескольких сложных тестовых наборах, включая KITTI и Waymo Open Dataset. Эксперименты показывают, что он последовательно превосходит лучшие существующие методы.
Дополнительные примеры динамических 3D гауссиан сцен можно найти по ссылке. Подробнее о Street Gaussians и код можно узнать здесь.