382 подписчика

В ответ на пост

Наконец то начали публиковаться квантованные модели Grok 1

На выбор доступнен целый ряд вариантов GGUF моделей: Q6_K, Q4_K, Q2_K, IQ3_XS

Скачать модель можно с HuggingFace

Для работы с моделью теперь требуется от 128 гигабайт оперативной (не видео) памяти.

Около минуты

25 марта 2024