🔥 Unsloth выпустили гайд и выложили GGUF-сборки GLM-4.7-Flash под llama.cpp. По их описанию: для запуска целятся в ~24 ГБ RAM/VRAM/unified memory (32 ГБ для full precision). Заявлен контекст до 200K (макс. 202 752). В репозитории есть несколько вариантов квантов, один из популярных UD-Q4_K_XL весит 17.6 ГБ. #AI #LocalAI #LLM #GLM #GLM47 #Unsloth #GGUF #llamacpp
GLM-4.7-Flash теперь можно запускать локально 🔥
Unsloth выпустили гайд и выложили GGUF-сборки GLM-4.7-Flash под llama.cpp.
По их описанию: для запуска целятся в ~24 ГБ RAM/VRAM/unified memory (32 ГБ для full precision).
Заявлен контекст до 200K (макс. 202 752).
В репозитории есть несколько вариантов квантов, один из популярных UD-Q4_K_XL весит 17.6 ГБ.
#AI #LocalAI #LLM #GLM #GLM47 #Unsloth #GGUF #llamacpp
