🌟 NVIDIA Nemotron-Cascade 2: MoE на 30B параметров и золото на математических олимпиадах

🌟 NVIDIA Nemotron-Cascade 2: MoE на 30B параметров и золото на математических олимпиадах.

Nemotron-Cascade 2 - вторая в мире открытая языковая модель, получившая золотую медаль сразу на 3 соревнованиях 2025 года: IMO, IOI и финале ICPC.

До нее это удавалось только DeepSeek-V3.2-Speciale, модели с 671B параметров и 37B активных. У Nemotron-Cascade 2 параметров в 20 раз меньше: 30B общих, 3B активных.

🟠На IMO 2025 модель решила 5 задач из 6 и набрала 35 из 42 баллов.

🟠На IOI - 439 из 600, что соответствует золоту.

🟠На ICPC World Finals 10 задач из 12, это 4 место в золотой зоне. При этом 8 задач ICPC были решены менее чем за 100 попыток.

🟡Архитектура

MoExperts на базе Nemotron-3-Nano-30B-A3B-Base. Отличие от первой версии - расширенный Cascade RL, где обучение с подкреплением проходит последовательно по доменам: сначала следование инструкциям, затем мультидоменное RL, потом дистилляция, RLHF, работа с длинным контекстом, код и, наконец, задачи программной инженерии.

🟡Multi-Domain On-Policy Distillation (MOPD)

На каждом этапе Cascade RL выбирается лучший промежуточный чекпоинт по конкретному домену и используется как учитель. Поскольку все учителя происходят от одной SFT-инициализации, они делят токенайзер и словарь, что упрощает дистилляцию.

MOPD работает на уровне отдельных токенов, а не последовательностей, и сходится быстрее, чем классический GRPO: на AIME 2025 достигает уровня учителя за 30 шагов оптимизации.

🟡Тесты

На бенчмарках модель обходит Qwen3.5-35B-A3B и более крупную Nemotron-3-Super-120B-A12B в математике, коде и следованию инструкциям.

🟢LiveCodeBench v6: 88.4 (у Qwen3.5 74.6);

🟢ArenaHard v2: 83.5 против 65.4 у Qwen3.5;

🟢IFBench: 82.9 против 70.2;

🟢На Codeforces модель набрала рейтинг 2345 с TIR (на уровне моделей с 300B+ параметров).

🟡Слабые места

Задачи, требующие глубоких знаний (MMLU-Pro, GPQA-Diamond) и агентные сценарии (BFCL v4, τ²-Bench, SWE Verified). Тут Qwen3.5 пока впереди.

NVIDIA обещает подтянуть наукоёмкий претрейн и агентный RL в следующих версиях Nemotron-Cascade.

📌Лицензирование: NVIDIA Open Model License.

🟡Модель

🟡SFT-датасет

🟡RL-данные

🟡Техотчет

@machinelearning

#AI #ML #LLM #Nemotron #Cascade2 #NVIDIA