Когда говорят, что одна модель пишет код лучше другой, обычно имеется ввиду бенчмарк SWE-Bench. Модель получает реальный баг из настоящего проекта с Github, который она должна прочитать, найти ошибку и исправить её. Это частично повторяет ежедневную работу программиста. Но у этого бенча, как и у любого другого, есть свои недостатки. 🟠SWE-Bench работает только с Python. В реальном мире разработчики имеют дело с Java, Go, TypeScript, Rust, C++ и еще кучей других. 🟠Бенчмарк только про исправление ошибок, а программисты еще пишут новые функции, занимаются рефакторингом и оптимизацией. 🟠Его результаты сильно зависят от того, в каком окружении работает модель. И вот здесь MiniMax-AI задалась вопросом: как создать по-настоящему универсального ИИ-программиста? Ответ они нашли и реализовали его в своей свежайшей модели M2.1. 🟡Масштабирование окружения. За этим расплывчатым термином кроется огромная система, которая оперирует популярными языками: JS, TS, Python, Java, Go, C++ и Rust.