На фоне гонки больших языковых моделей, где крупные корпорации всё чаще скрывают детали обучения и оставляют лишь API-доступ, швейцарский проект Apertus-70B выглядит настоящим глотком свежего воздуха. Разработанная совместно ETH Zurich, EPFL и CSCS, модель не просто открыта — она документирована до винтика: веса, данные, архитектура, оптимизаторы, даже промежуточные чекпоинты обучения.
🔑 Что делает Apertus-70B особенной
- 📖 Полная открытость — доступно всё: от весов до скриптов для реконструкции обучающего датасета.
- 🌍 1811 языков — модель может работать не только с «топ-10» языков, но и с малораспространёнными, что критично для культурного и научного разнообразия.
- ⚡ Технические новшества — активация xIELU и оптимизатор AdEMAMix, что должно повысить стабильность и эффективность обучения на 15 трлн токенов.
- 🔒 Соответствие законам о защите данных — встроенный механизм обновляемых фильтров для удаления персональных данных из генераций.
- 📜 Apache-2.0 — лицензия без ограничений, кроме стандартных условий.
🧠 Зачем это нужно индустрии
Большинство современных LLM (OpenAI, Anthropic, Google) — это «чёрные ящики». Мы получаем интерфейс, но не контроль. Apertus же предлагает альтернативу: экосистему, где исследователи и компании могут воспроизводить результаты, доверять данным и расширять модель под свои задачи.
Швейцарский подход напоминает о традициях нейтралитета: дать всем доступ, но при этом жёстко соблюдать правила — от лицензии до GDPR. Мне кажется, это важный баланс: AI не должен быть монополией «закрытых клубов», но и не может игнорировать этику и закон.
🛠️ Практическая ценность
Уже сегодня Apertus-70B можно:
- 🤖 интегрировать через transformers и vLLM,
- 🧩 запускать с длинным контекстом до 65 536 токенов — это тысячи страниц текста в одном запросе,
- 🔗 использовать в агентных системах (поддержка tool-use),
- ⚙️ разворачивать на 4096 GPU GH200 (данные из отчёта), но также оптимизировать под меньшие конфигурации.
💡 Личный взгляд
Для меня главное здесь даже не размер модели (70B уже не удивишь), а именно радикальная открытость. В эпоху, когда «открытый AI» часто оказывается не таким уж открытым, ETH и EPFL фактически демонстрируют: наука ещё может конкурировать с корпорациями, если играет по другим правилам.
И да, у Apertus есть ограничения: качество генерации уступает Qwen2.5-72B или Llama-4 на некоторых бенчмарках. Но это цена, которую я лично готов платить за воспроизводимость и независимость.
🔗 Источники: