И выложил весь гайд — от закупок на eBay до настроек BIOS с бифуркацией PCIe. Внутри — два готовых сценария. За $2k берёшь пару RTX 3090, запускаешь Qwen3.6-27B и локальный Whisper для голоса. За $40k — 4x RTX 6000, 384GB VRAM и GLM-5.2 на 594B параметров через vLLM. Все docker-compose уже готовы, копипасть и запускай... Честный минус: чтобы всё это заработало на максимальной скорости, придётся глубоко копать. PCIe-свитчи от c-payne, ручная настройка ASPM, отключение IOMMU, деревянный корпус собственного изготовления. Готовы вложить 40k$? :) https://github.com/jamesob/local-llm tg / max
Чувак собрал дома сервер за $40k, который крутит модель почти уровня Claude Opus. И выложил весь гайд — от закупок на eBay до настроек BIOS с бифуркацией PCIe.
Внутри — два готовых сценария. За $2k берёшь пару RTX 3090, запускаешь Qwen3.6-27B и локальный Whisper для голоса. За $40k — 4x RTX 6000, 384GB VRAM и GLM-5.2 на 594B параметров через vLLM. Все docker-compose уже готовы, копипасть и запускай...
Честный минус: чтобы всё это заработало на максимальной скорости, придётся глубоко копать. PCIe-свитчи от c-payne, ручная настройка ASPM, отключение IOMMU, деревянный корпус собственного изготовления.
Готовы вложить 40k$? :)
https://github.com/jamesob/local-llm
