☄️ Вчера выкатили семейство открытых моделей Llama 4

☄️ Вчера выкатили семейство открытых моделей Llama 4

И они бьют все рекорды по мощности, мультимодальности и доступности.

Вот главные фишки:

✔️ Три модели на любой вкус

1. Llama 4 Scout (17 млрд активных параметров):

- Контекст 10 млн токенов (в 50 раз больше конкурентов!).

- Работает на одной GPU H100.

- Лучшая в классе для текста, изображений и видео.

2. Llama 4 Maverick (17 млрд активных параметров):

- Конкурирует с GPT-4o и Gemini 2.0.

- Топ в кодировании (LiveCodeBench: 43.4) и рассуждениях (MMLU Pro: 80.5).

3. Llama 4 Behemoth (288 млрд активных параметров):

- Почти 2 трлн параметров в общей сложности.

- Обходит GPT-4.5 и Claude в STEM-задачах (MATH-500: 95.0!).

- Пока в разработке, но уже впечатляет.

✔️ Под капотом MoE-архитектура (микстура из экспертов)

Экономит ресурсы — каждый токен обрабатывается частью модели.

- Нативная мультимодальность: Текст + изображения + видео в одной модели.

- 10 млн токенов контекста: Благодаря iRoPE и оптимизации внимания.

- Обучение: FP8-precision, кодистилляция, асинхронный RL.

Цена vs Качество

- Стоимость инференса: $0.19–0.49 за 1 млн токенов (в 8–20 раз дешевле GPT-4o!).

- Бенчмарки:

- Изображения: ChartQA (90.0), DocVQA (94.4).

- Рассуждения: GPQA Diamond (69.8).

- Многоязычность: 84.6 баллов (против 81.5 у GPT-4o).

🔒 Безопасность и доступность

- Инструменты:

Llama Guard, Prompt Guard.

- Llama 4 Scout и Maverick уже доступны на Hugging Face и в Meta AI

- Llama 4 Behemoth пока в разработке.

✔️ Почему это важно?

Llama 4 — открытый вызов проприетарным моделям.

Рекордный контекст, мультимодальность и низкая цена делают ИИ-технологии доступными для всех.

@aidivision

#Llama4 #Meta #ИИ #МашинноеОбучение #OpenSource