В статье с Hugging Face Papers предлагается подход, который авторы называют агентным языковым моделированием мира (agentic language world modeling). Исходная проблема: реалистичные копии сред всё чаще нужны, чтобы обучать и оценивать агентов на больших языковых моделях, но исходные системы могут быть недоступны или слишком сложны для воспроизведения. Вместо того чтобы заново собирать исполняемую среду, предлагается использовать агента-модель мира: он выступает средой для агента, решающего задачу, и обеспечивает достоверную симуляцию с сохранением состояния...

Обучать и оценивать диалоговых языковых агентов нужно на живых взаимодействиях с пользователями, но собирать обратную связь от людей дорого и плохо масштабируется. Альтернатива, симулированные пользователи. Однако в большинстве фреймворков для обучения агентов их роль играют готовые ассистентские языковые модели. Авторы статьи считают, что из-за заложенной в них услужливости такие «пользователи» получаются слишком кооперативными, слишком прямолинейными в формулировках и однообразными по поведению по сравнению с реальными людьми...