☄️ Вчера выкатили семейство открытых моделей Llama 4
И они бьют все рекорды по мощности, мультимодальности и доступности.
Вот главные фишки:
✔️ Три модели на любой вкус
1. Llama 4 Scout (17 млрд активных параметров):
- Контекст 10 млн токенов (в 50 раз больше конкурентов!).
- Работает на одной GPU H100.
- Лучшая в классе для текста, изображений и видео.
2. Llama 4 Maverick (17 млрд активных параметров):
- Конкурирует с GPT-4o и Gemini 2.0.
- Топ в кодировании (LiveCodeBench: 43.4) и рассуждениях (MMLU Pro: 80.5).
3. Llama 4 Behemoth (288 млрд активных параметров):
- Почти 2 трлн параметров в общей сложности.
- Обходит GPT-4.5 и Claude в STEM-задачах (MATH-500: 95.0!).
- Пока в разработке, но уже впечатляет.
✔️ Под капотом MoE-архитектура (микстура из экспертов)
Экономит ресурсы — каждый токен обрабатывается частью модели.
- Нативная мультимодальность: Текст + изображения + видео в одной модели.
- 10 млн токенов контекста: Благодаря iRoPE и оптимизации внимания.
- Обучение: FP8-precision, кодистилляция, асинхронный RL.
Цена vs Качество
- Стоимость инференса: $0.19–0.49 за 1 млн токенов (в 8–20 раз дешевле GPT-4o!).
- Бенчмарки:
- Изображения: ChartQA (90.0), DocVQA (94.4).
- Рассуждения: GPQA Diamond (69.8).
- Многоязычность: 84.6 баллов (против 81.5 у GPT-4o).
🔒 Безопасность и доступность
- Инструменты:
Llama Guard, Prompt Guard.
- Llama 4 Scout и Maverick уже доступны на Hugging Face и в Meta AI
- Llama 4 Behemoth пока в разработке.
✔️ Почему это важно?
Llama 4 — открытый вызов проприетарным моделям.
Рекордный контекст, мультимодальность и низкая цена делают ИИ-технологии доступными для всех.
#Llama4 #Meta #ИИ #МашинноеОбучение #OpenSource