380 подписчиков

Помните, Илон Маск создавал своего конкурента под названием Grok? Так вот, теперь это open source модель.

Исходный код можно найти на GitHub

По характеристикам:

314B параметров, что делает Grok одной одной из самых крупных open-source LLM. напомню, что у LLaMA 2 самая крупная версия - на 70B параметров.

Структура MoE (что это такое, я писал вот тут), 8 экспертов.

Размер модели под 300 Гигабайт и ей требуется примерно 600-700 гигабайт видеопамяти в режиме FP16 🙃

Около минуты

18 марта 2024