Судя по расчетам пользователей на основе кода (HuggingFace PR), общая база параметров GLM-5 составляет около 776 миллиардов (776B). Чтобы запустить такую махину даже в сжатом виде (квантование 4-бит), потребуется более 400 ГБ видеопамяти (VRAM). Для этого нужно минимум 17–20 видеокарт RTX 3090/4090, что превращает «локальный» запуск в серверную задачу :) В общем ИИ становятся умнее, но «входной билет» для их запуска дома подорожал до цены подержанного автомобиля в РФ. Русский ИТ бизнес
Не знаю, как это запускать локально, ибо новые ИИ просто коллосы.
Судя по расчетам пользователей на основе кода (HuggingFace PR), общая база параметров GLM-5 составляет около 776 миллиардов (776B).
Чтобы запустить такую махину даже в сжатом виде (квантование 4-бит), потребуется более 400 ГБ видеопамяти (VRAM). Для этого нужно минимум 17–20 видеокарт RTX 3090/4090, что превращает «локальный» запуск в серверную задачу :)
В общем ИИ становятся умнее, но «входной билет» для их запуска дома подорожал до цены подержанного автомобиля в РФ.
