21 подписчик
🟢 Новости AI
Databricks представила открытую языковую модель DBRX. В рамках стандартных тестов она превзошла существующие модели, в числе которых Grok, Mixtral и GPT-3.5.
На ключевых бенчмарках DBRX обошла все открытые языковые модели, а также GPT-3.5 от OpenAI. DBRX основана на архитектуре MoE, в которой вместо одной большой нейросети используется набор меньших по размеру. Каждый токен (слово или его часть) обрабатывается лишь некоторыми из них, что позволяет использовать меньше вычислительных ресурсов во время работы.
Новая нейросеть DBRX превзошла GPT по тестам.
На создание и обучение модели было потрачено 10 миллионов долларов и 2 месяца времени. ИИ обучен на 12 триллионах токенов.
В рамках стандартных тестов она превзошла существующие модели, в числе которых Grok, Mixtral и GPT-3.5. ИИ хорошо пишет код, решает математику и может общаться на русском языке (если попросите).
Около минуты
2 апреля 2024