🔬 Генеративные видеомодели «понимают» 3D-пространство лучше, чем специализированные нейронки

🔬 Генеративные видеомодели «понимают» 3D-пространство лучше, чем специализированные нейронки

Видеодиффузионные модели скрыто обучаются законам физики и геометрии, чтобы генерировать связные ролики. Исследователи представили фреймворк VEGA-3D, который доказывает: замороженная видеомодель может служить идеальным «симулятором мира» для обучения MLLM (мультимодальных больших языковых моделей) без использования реальных 3D-данных.

Проблема современных ИИ-помощников в «пространственной слепоте» — они отлично описывают картинку словами, но путаются в глубине объектов и их расположении. Вместо того чтобы скармливать модели дефицитные 3D-сканы, авторы просто вытащили пространственно-временные признаки из промежуточных слоев диффузии. Оказалось, что внутри шума уже зашита информация о структуре сцены.

VEGA-3D достигает топовых результатов в задачах 3D-понимания сцен, вообще не используя явную геометрическую разметку при обучении

Метод использует адаптивное слияние токенов: семантика из языковой модели смешивается с геометрическими подсказками из видеогенератора через специальный gated fusion механизм. Это позволяет модели «видеть» объем там, где обычный CLIP-энкодер видит просто плоский набор пикселей.

Это меняет подход к обучению роботов и систем навигации. Вместо поиска редких датасетов с облаками точек можно использовать огромный массив видео, на которых генеративные модели уже выучили, как устроен наш трехмерный мир.

#AI #Research #DiffusionModels #3D #SceneUnderstanding #VEGA3D

🔗 Generation Models Know Space: Unleashing Implicit 3D Priors for Scene Understanding