21 подписчик
🟢 Новости AI
Компания Databricks представила открытую языковую модель DBRX. В рамках стандартных тестов она превзошла существующие модели, в числе которых Mixtral и Grok.
ИИ обучен на 12 триллионах токенов. На создание и обучение модели было потрачено всего 2 месяца времени.
DBRX основана на архитектуре MoE, в которой вместо одной большой нейросети используется набор меньших по размеру. Для обработки каждого токена задействуются лишь некоторые из них, что позволяет использовать меньше вычислительных ресурсов.
Mitup AI | #новости_AI
Около минуты
2 апреля 2024