Модель на 1 триллион параметров сжата до 340 ГБ через Dynamic GGUF. Рабочий компромисс, не требующий кластера из сотен GPU. Запуск возможен на CPU, GPU и SSD. Скорость >40 токенов/сек при ~350 ГБ RAM/VRAM. Полная точность требует 610 ГБ. Первый случай доступности модели такого масштаба вне датацентров. Гайд: https://unsloth.ai/docs/models/kimi-k2.6 GGUF: https://huggingface.co/unsloth/Kimi-K2.6-GGUF 🟪 MAX ❤ TG
Kimi K2.6 теперь запускается почти на любом устройстве.
Модель на 1 триллион параметров сжата до 340 ГБ через Dynamic GGUF. Рабочий компромисс, не требующий кластера из сотен GPU.
Запуск возможен на CPU, GPU и SSD. Скорость >40 токенов/сек при ~350 ГБ RAM/VRAM. Полная точность требует 610 ГБ.
Первый случай доступности модели такого масштаба вне датацентров.
Гайд: https://unsloth.ai/docs/models/kimi-k2.6
GGUF: https://huggingface.co/unsloth/Kimi-K2.6-GGUF
