В начале апреля 2025 года Meta представила Llama 4 — новую серию моделей ИИ, способную вывести компанию на совершенно новый уровень. Каждая из обновленных моделей Llama 4 получила значительные улучшения по сравнению с предыдущими версиями. Вот три самых впечатляющих новых свойства, которые стоит протестировать.
3 Архитектура Смешанных Экспертов (MoE)
Одной из ключевых особенностей моделей Llama 4 является новая архитектура MoE — это первый опыт её применения в серии Llama. Она использует совершенно иной подход, чем предыдущие версии. В этой архитектуре активируются лишь отдельные параметры модели для каждого токена, в отличие от традиционных плотных трансформеров, таких как Llama 3 и более ранние, где все параметры активировались для выполнения каждой задачи.
Например, Llama 4 Maverick использует всего 17 миллиардов активных параметров из 400 миллиардов, в то время как Llama 4 Scout, самая компактная из новых моделей, включает 109 миллиардов параметров, активируя лишь 17 миллиардов с 16 экспертами.
Самая крупная модель, Llama 4 Behemoth, задействует 288 миллиардов активных параметров (из 16 экспертов) из почти двух триллионов. Благодаря этой архитектурной перестройке модели Llama 4 становятся более эффективными как в обучении, так и в выводе. Активация лишь небольшого числа параметров также снижает затраты на обслуживание и задержки. Meta утверждает, что Llama может работать на одном GPU Nvidia H100 — это впечатляющее достижение с учетом количества параметров. В то время как для ChatGPT требуется множество GPU Nvidia, что значительно увеличивает нагрузку по различным метрикам.
2 Нативные Мультимодальные Возможности
Еще одним важным обновлением моделей Llama 4 стали нативные мультимодальные возможности, которые позволяют этим моделям одновременно обрабатывать текст и изображения.
Это стало возможным благодаря интеграции текстовых и визуальных токенов на начальных этапах обучения, создав единую архитектуру. Модели обучались на обширных объемах неразмеченных текстов, изображений и видео.
Это настоящая революция. Напоминаю, что обновление Llama 3.2, состоявшееся в сентябре 2024 года, представило несколько новых моделей (всего десять), в том числе пять мультимодальных визуальных моделей и пять текстовых. С новой генерацией компании больше не нужно выпускать отдельные текстовые и визуальные модели благодаря нативным мультимодальным возможностям.
Кроме того, Llama 4 использует улучшенный визуальный энкодер, что позволяет моделям обрабатывать сложные задачи визуального анализа и многократные входные изображения, делая их идеальными для приложений, требующих продвинутого понимания текста и изображений. Мультимодальная обработка также открывает широкие возможности для использования моделей Llama 4 в самых разных приложениях.
1 Лидирующее Окно Контекста
Модели Llama 4 обладают беспрецедентным окном контекста до 10 миллионов токенов. Несмотря на то, что Llama 4 Behemoth все еще находится в процессе обучения на момент публикации, Llama 4 Scout устанавливает новый отраслевой стандарт, поддерживая до 10 миллионов токенов за раз. Это позволяет вводить текст объемом более пяти миллионов слов.
Расширенное окно контекста является значительным улучшением по сравнению с 8K токенами в Llama 3, когда она была впервые представлена, а также с последующим расширением до 128K после обновления Llama 3.2. И не только окно контекста Llama 4 Scout на 10 миллионов токенов поражает; даже Llama 4 Maverick с его одномиллионным окном контекста — это важное достижение.
Llama 3.2 уже входила в число лучших ИИ-чат-ботов для длительных бесед. Однако расширенное окно контекста Llama 4 ставит её на первое место, превосходя ранее установленные рекорды Gemini с его двухмиллионным окном, Claude 3.7 Sonnet с 200K и GPT-4.5 с 128K.
Благодаря большому окну контекста серия Llama 4 способна справляться с задачами, требующими ввода огромных объемов информации. Это крайне полезно для задач, связанных с анализом длинных и многодокументных текстов, детальным изучением больших кодовых баз и работой с объемными наборами данных.
Кроме того, данное свойство позволяет Llama 4 поддерживать продолжительные беседы, в отличие от предыдущих моделей Llama и моделей других компаний в сфере ИИ. Если одна из причин, по которой Gemini 2.5 Pro считается лучшей моделью для задач логики, заключается в его большом окне контекста, то можно представить, насколько мощным станет окно в 5x или 10x.
Модели серии Llama 3 уже считались одними из лучших LLM на рынке. Но с выходом серии Llama 4, Meta сделала значительный шаг вперед, сконцентрировавшись не только на улучшении логической производительности (благодаря новому индустриальному стандарту окна контекста), но и добившись максимальной эффективности моделей с помощью новой архитектуры MoE как в обучении, так и в выводе.
Сочетание нативной мультимодальной обработки Llama 4, эффективной архитектуры MoE и масштабного окна контекста делает её универсальной, высокопроизводительной моделью открытого ИИ, которая успешно конкурирует с ведущими решениями в областях рассуждений, программирования и других задач.
Если вам понравилась эта статья, подпишитесь, чтобы не пропустить еще много полезных статей!
Вы также можете найти наши материалы в:
- Telegram: https://t.me/gergenshin
- Youtube: https://www.youtube.com/@gergenshin
- Яндекс Дзен: https://dzen.ru/gergen
- Официальный сайт: https://www-genshin.ru