Собираем домашний LLM‑сервер

Собираем домашний LLM‑сервер

Неделя вышла плотной, писал мало. Исправляюсь: поизучал «настольный» DGX Spark от Nvidia. Мини-компьютер как базу для домашнего LLM‑сервера .

Короткий вывод: Spark — это про объёмные модели, а не про скорость генерации. Для повседневного офлайнового инференса компактнее и быстрее обычный ПК или мини‑ПК + внешний док под десктоп‑GPU. Выйдет быстрее и дешевле.

Почему так
– У Spark 128 ГБ унифицированной памяти, поэтому влезут большие модели. Их ещё можно объединять в ферму по оптике (кабель 15000₽), а значит доступной памяти станет больше. Для сравнения у RTX 4090 будет 24GB, у 5090 будет 32 ГБ.
– Но память LPDDR5x ~273 ГБ/с — скорость памяти станет узким местом для быстрой работы ИИ. Для сравнени RTX 5090 используется GDDR7 с ~1.8 ТБ/с, почти на порядок быстрее.
– Цена: Spark — $3 999. За те же деньги можно укомплектовать мини‑ПК + док + 5080 (а если повезёт — и 5090), получив почти на порядок более высокую скорость работы ИИ.
– Spark логичен, когда нужна ёмкость: дообучение (LoRA/QLoRA) и работа с большими моделями 70b–200b

Альтренативы для дома: Beelink GTi‑линейка + EX Pro Dock (прямой PCIe 5.0 ×8, БП 600 Вт GPU: – RTX 5090 — максимум по скоростям, но близко к лимиту по питанию дока и может не влезть по размерам, надо смотреть по производителю – RTX 5080 — проще по теплу/ваттам, 16 ГБ достаточно для 8–14и моделей и аккуратно подобранных 30–33b моделей

Вывод
Для «домашнего/офисного» LLM‑сервера я бы не покупал Spark. Скорее — мини‑ПК + док + 5080/5090 или собирал бы обычный домашний компьютер. Spark нужен тем, кому важнее влезть в очень большие модели или обучать их. Пусть и медленно
vk.com/club219345640