10,2 тыс подписчиков
🌟 Только что вышла модель Jamba 1.5.
✨ Архитектура SSM-Transformer сочетает в себе качество Transformer и эффективность Mamba, меньший объем занимаемой памяти, более легкую тонкую настройку в длинных контекстах.
🚀 Jamba 1.5: новое открытое семейство LLM от AI21
- Варианты Mini и Large
- Новая архитектура SSM-трансформатора e
- Гибридная модель SSM-трансформера на основе смеси экспертов (MoE)
📏 Контекстное окно:
- 256K лексем (самое длинное среди открытых моделей)
- Поддерживает качество на протяжении всего контекста
⚡ Скорость:
- До 2,5 раз быстрее на длинных контекстах
- Jamba 1.5 Mini: Самый быстрый на 10K контекстах (тест искусственного анализа)
🏆 Производительность:
- Jamba 1.5 Mini: 46,1 в бенчмарке Arena Hard
- Jamba 1.5 Large: 65.4 в бенчмарке Arena Hard (превосходит Llama 3.1 70B и 405B)
💾 Новая техника квантования: ExpertsInt8
- Предназначена для моделей MoE
- Квантует веса MoE/MLP в INT8
- Самая низкая задержка среди техник квантования vLLM
- Mini позволяет разместить до 140K контекстов в одном A100
🌐 Особенности:
- Многоязыковая поддержка
- Вывод JSON, вызов функций, объекты документов, цитаты
🔧 Примеры использования:
- Анализ документов, рабочие процессы RAG, поддержка клиентов
🖥️ Доступность:
- Несколько платформ: AI21 Studio, Google Cloud, Azure, Hugging Face, NVIDIA NIM.
Поддерживается в трансформаторах и VLLM
Официальное объявление - https://ai21.com/blog/announcing-jamba-model-family
1 минута
23 августа 2024