Современные визуально-языковые модели (VLM) умеют распознавать и объяснять физические события на видео и картинках, но, по словам авторов работы, им не хватает явных представлений о механизмах, которые стоят за этими событиями: состояниях объектов, физических параметрах, законах динамики. Без этого модель не может надёжно рассуждать о том, как мир будет развиваться дальше и как он отреагирует на вмешательство извне. Авторы предлагают решение, парадигму Code-as-World («мир как код»). Идея в том, чтобы...