79 подписчиков
DBRX - новое слово в мире открытых моделей, представленное Databricks
Превосходит многие открытые аналоги по различным показателям, включая Grok, у которого объем в два раза больше. Лицензирование схоже с тем, что используется для лам.
С точки зрения архитектуры, модель представляет собой Mixture of Experts с 16 экспертами, из которых активными являются 4, и общим количеством параметров в 132 миллиарда, из которых активные параметры составляют 36 миллиардов.
Около минуты
8 июля 2024