Новый шаг за пределы «следующего токена» Исследовательская группа Meta по искусственному интеллекту выпустила большую языковую модель Code World Model (CWM). В отличие от классических LLM, CWM обучается не только на синтаксисе, но и на том, что делает код при выполнении. Модель строит внутреннюю «мировую модель» вычислительных систем, позволяющую глубже понимать динамику программ и среды, в которой они работают.
Почему этого не хватало LLM
Даже самые продвинутые генераторы кода до сих пор страдали от слабых мест:
- они «угадывают» следующую строку кода,
- но не понимают его семантику и побочные эффекты,
- что ведёт к ошибкам, особенно в сложных проектах.
Meta утверждает: чтобы моделировать разработку ПО, ИИ должен рассуждать о переменных, функциях, модулях и их взаимосвязях — так же, как это делает человек-программист.
Как работает CWM
Ключевая новация — обучение на «данных моделирования мира кода». Используются два типа источников:
- Трассировки выполнения Python — пошаговые изменения состояния программы (переменных, памяти). Это позволяет модели понять динамику кода, а не только его финальный результат.
- Агентные взаимодействия в Docker-средах — синтетический генератор ForagerAgent имитирует разработчика, исправляющего баги или внедряющего новые функции.
Такое обучение на ранних стадиях закладывает фундамент для более осмысленной генерации и самопроверки.
Самопроверка как у программиста
CWM способна:
- написать решение задачи,
- сгенерировать собственные тесты,
- запустить код и сравнить прогноз с фактическим результатом.
Этот цикл самопроверки — прямое следствие встроенной «модели мира».
Результаты на практике
- Размер: 32 млрд параметров, контекст до 131 тыс. токенов.
- SWE-bench Verified: 65,8% успешных решений (лучше открытых аналогов).
- Высокие оценки на LiveCodeBench, Math-500, AIME 2024 и CruxEval.
Meta подчёркивает: модель исследовательская, лицензия — некоммерческая, она не оптимизирована для чата и массового использования.
Модели мира как следующий рубеж
Появление CWM — часть более широкой тенденции:
- Chain-of-Thought (CoT) заставляет LLM «проговаривать мысли», но это остаётся генерацией токенов.
- Мировые модели (world models) уходят глубже: строят внутреннее представление среды в скрытых слоях, делая ИИ более устойчивым к изменениям.
- Примеры: комбинации LLM с JEPA показывают, что модели становятся гибче и лучше адаптируются к новым задачам.
Взгляд в будущее
CWM пока первый шаг, но он показывает: путь к по-настоящему интеллектуальным системам лежит через мировые модели. Это может радикально изменить разработку ПО, проверку и тестирование, а в перспективе — вывести ИИ-агентов на новый уровень автономности.
Источник: https://venturebeat.com/ai/metas-new-cwm-model-learns-how-code-works-not-just-what-it-looks-like
Больше интересного – на медиапортале https://www.cta.ru/