Смартфон, три предобученные нейросети и девять шагов превращают любительское видео комнаты в точную 3D-модель с разметкой объектов, и для этого не нужно обучать ни одну нейросеть самостоятельно. Раньше для семантического 3D-сканирования требовались лидары, геодезические маркеры и недели ручной разметки. Теперь предобученные модели компьютерного зрения делают это за вас: SAM находит объекты, CLIP подбирает им названия, DINOv2 отслеживает их между кадрами. Разработчик описал и проверил на практике конвейер, который берёт «сырое» видео со смартфона и выдаёт размеченное облако точек с планом помещения...