Meta удивила мир ИИ, представив свою новейшую и самую мощную языковую модель с открытым исходным кодом – Llama 3.1-405B.
Основные факты
⭐️ Параметры: Llama 3.1-405B является самой крупной моделью в серии Llama, обладая 405 млрд параметров. Представлены также более компактные версии на 8 и 70 млрд параметров.
Количество параметров влияет на способность модели рассуждать, понимать контекст и генерировать разнообразный, точный и креативный контент. Больше параметров требуют больше вычислительных ресурсов.
📊 Бенчмарки: на тестах новинка очень близка к лидерам рынка GPT-4o и Claude 3.5 Sonnet. Смотрите сравнение по пониманию языка (MMLU), программированию (HumanEval) и математике (GSM8K и MATH) 🔼
🖼 Мультимодальность: эта модель сможет обрабатывать и генерировать как текст, так и изображения. Модель уже внедрена в бета-версию WhatsApp для Android.
🔒 Открытый исходный код: Llama 3.1-405B позволяет разработчикам и исследователям использовать ее в своих проектах. Это делает ее доступной для более широкого круга пользователей, включая университеты и небольшие компании.
🖥 Контекстное окно: модель использует новый токенизатор, который расширяет словарный запас с 32K до 128K токенов, что улучшает обработку языка и позволяет более эффективно работать с текстом, запоминая больше контекста.
➡️ Протестировать Llama 3.1-405B можно здесь.
📱Марк Цукерберг уже дал видеоинтервью.
Самый популярный Telegram-бот с доступом к нейросетям - @GPT4Telegrambot
