Днище Kaiyi E5 — это точно не билет в один конец
Show HN: как запустить 744-миллиардную модель GLM-5.2 на ноутбуке с 25 ГБ памяти
Пользователь vforno (проект на GitHub, JustVugg/colibrì) опубликовал на Hacker News историю о том, как он запустил гигантскую языковую модель GLM-5.2 (744 миллиарда параметров, архитектура «смесь экспертов», Mixture-of-Experts, MoE) на собственном скромном ноутбуке, 12 ядер процессора, 25 ГБ оперативной памяти, NVMe-диск за виртуальным диском WSL2 с ограничением случайного чтения около 1 ГБ/с. Пост набрал 472 балла и 124 комментария на Hacker News. Идея: на каждый токен GLM-5.2 реально задействует...