NVIDIA DGX Spark

NVIDIA DGX Spark — это компактный персональный суперкомпьютер для стола, разработанный на базе чипа Grace Blackwell GB10, созданный специально для развертывания локальных автономных агентов и LLM без использования облака. Главная ценность устройства заключается в наличии 128 ГБ объединенной памяти (Unified Memory) и полноценной поддержке экосистемы CUDA. Это позволяет запускать тяжелые LLM (вплоть до моделей на 70B–120B параметров), которые физически не помещаются в стандартные потребительские видеокарты.

Спецификации и Особенности Архитектуры

1. Процессор и Графика: ARM64 процессор в связке с архитектурой Blackwell GPU.
2. Объем памяти: 128 ГБ унифицированной памяти LPDDR5x. Из них под нужды LLM/видеопамяти доступно более 65–70 ГБ.
3. Пропускная способность: 273 ГБ/с. Это ниже, чем у классических GPU, но компенсируется колоссальным объемом единого адресного пространства.
4. Энергопотребление: Около 140 Вт в типичном режиме нагрузки (блок питания на 240 Вт), что делает его тихим и экономичным решением для постоянной работы на столе.

Какие модели можно запускать?

Благодаря 128 ГБ памяти, DGX Spark является отличным решением для работы с квантованными версиями тяжелых моделей:

1. Модели 8B–14B (Llama 3, Qwen 2.5/3): Летают на максимальной скорости с огромным контекстным окном.
2. Модели 30B–32B: Оптимальный баланс высокой скорости генерации и качества ответов.
3. Модели 70B–80B (Qwen 3 80B, Llama 3 70B): Запускаются локально в квантовании Q4 (занимают ~35–40 ГБ). Выдача составляет порядка 8–10 токенов в секунду, а при использовании гибридных MoE-архитектур — до 45 токенов в секунду.
4. Модели 120B+ (MoE): Работают стабильно благодаря большому объему памяти, куда модель помещается целиком без просадок, возникающих при переносе слоев в RAM обычного ПК.

Программный стек для запуска LLM на DGX Spark

Поскольку устройство работает на архитектуре ARM64 + CUDA, софт-стек имеет свои нюансы:

1. LM Studio: Официально поддерживает DGX Spark. В интерфейсе можно в один клик скачать модели GGUF, задействовать аппаратное ускорение и запустить локальный сервер (по умолчанию порт 1234) для интеграции с другими приложениями.
2. Ollama + Open WebUI: Популярная связка для создания приватного аналога ChatGPT прямо на устройстве.
3. vLLM: Оптимальный движок для тех, кому нужна максимальная пропускная способность, работа с непрерывным батчингом (continuous batching) и интеграция экосистемы RAG.
4. NVIDIA NIM / NemoClaw: Фирменные инструменты NVIDIA для развертывания локальных микросервисов и многоагентных систем.

Итог:

DGX Spark — это идеальный мини-датацентр разработчика. Он покупается не ради рекордной скорости токенов в секунду, а ради возможности безболезненно тестировать, квантовать и запускать огромные корпоративные модели на архитектуре CUDA прямо у себя на столе перед их деплоем в «большое» облако.

Если вы планируете настраивать систему, расскажите: под какие задачи (кодинг, аналитика, RAG) вы готовите Spark и какой софт (LM Studio, vLLM, Docker) планируете использовать в качестве основного? Я помогу подобрать оптимальные параметры запуска.