Это фреймворк для потокового пространственного интеллекта на основе визуальных данных с использованием test-time training (TTT). Spatial-TTT адаптирует «быстрые веса», чтобы захватывать и структурировать пространственную информацию из длинных видеопотоков. Это позволяет моделям со временем формировать структурированную 3D-пространственную память. Основные идеи: 🔹 Эффективная потоковая память Быстрые веса работают как компактная пространственная память. Рост памяти сублинейный даже на видео длиннее 7000 кадров, при этом вычисления сокращаются более чем на 40%. 🔹 Пространственно-предиктивный...

TTT - это метод, который позволяет моделям искусственного интеллекта адаптироваться и учиться непосредственно во время использования, а не только во время предварительного обучения. Основное преимущество TTT заключается в том, что он может эффективно обрабатывать длинные контексты (большие объемы входных данных) без значительного увеличения вычислительных затрат. Исследователи провели эксперименты на различных наборах данных, включая книги, и обнаружили, что TTT часто превосходит традиционные методы...