🔥 ByteDance представил Seed-OSS (Apache-2.0) — открытую серию LLM, обученную на 12 трлн токенов и оптимизированную для:
- контекста до 512K,
- reasoning-задач,
- агентных сценариев,
- международного применения (i18n).
📦 В релиз вошли:
- Seed-OSS-36B-Base (с синтетическими данными и без)
- Seed-OSS-36B-Instruct
⚙️ Архитектура
- 36B параметров, 64 слоя, hidden 5120
- словарь 155K
- GQA (80/8/8, head 128)
- SwiGLU, RMSNorm
- RoPE base 1e7
🧠 Thinking Budget
Механизм контроля длины рассуждений (кратные 512):
- 0 = прямой ответ
- default = без ограничений
- поддержка CoT и саморефлексии
---
📊 Результаты (Seed-OSS-36B-Base)
- MMLU-Pro: 65.1 / 60.4
- MMLU: 84.9 / 84.8
- TriviaQA: 82.1 / 81.9
- GPQA-D: 31.7 / 35.2
- BBH: 87.7 / 87.2
- GSM8K: 90.8 / 90.3
- MATH: 81.7 (SOTA) / 61.3
- MBPP: 80.6 / 74.6
- HumanEval: 76.8 / 75.6
📊 Результаты (Seed-OSS-36B-Instruct)
- MMLU-Pro: 82.7 | MMLU: 87.4
- GPQA-D: 71.4 | SuperGPQA: 55.7
- AIME24: 91.7 (SOTA) | AIME25: 84.7 | BeyondAIME: 65
- ArcAGI V2: 40.6 | KORBench: 70.6
- LiveCodeBench v6: 67.4 (SOTA)
- IFEval: 85.8
- TAU1-Retail: 70.4 (SOTA) | TAU1-Airline: 46
- SWE-Bench Verified: 56 (SOTA) | Multi-SWE-Bench: 17
- MMMLU: 78.4 | RULER (128K): 94.6 (SOTA) | AIR-Bench: 75.6
⚡ Инференс
- Поддержка Transformers и vLLM (≥0.10.0)
- FlashAttention2
- Квантизация 4/8-бит
📌 Итог: ByteDance выкатывает мощный опенсорс-стек для reasoning и агентных задач. Seed-OSS-36B-Instruct бьёт SOTA на множестве бенчмарков — от MATH и SWE-Bench до RULER-128K.
