Искусственный интеллект всё чаще работает не в облаке, а прямо в компаниях — на своих серверах.
Главный вопрос при сборке такого сервера — сколько видеопамяти нужно, чтобы модель не «захлебнулась» и при этом не платить лишнее за VRAM.
Почему видеопамять — ключевой ресурс
Когда мы запускаем нейросеть, память тратится на два больших блока:
- Веса модели — это сами знания нейросети, загружаются один раз.
- Контекст (KV-кэш) — хранит промежуточные данные при генерации ответов.
Чем длиннее контекст и больше пользователей, тем выше расход VRAM.
К этому добавляются служебные буферы и фрагментация — примерно ещё +20% резерва.
Как прикинуть нужный объём VRAM
Есть два подхода: быстрый (для оценки «на глаз») и точный (для инженерного расчёта).
🧮 Быстрый способ — «на коленке»
Используем простые усреднённые цифры:
- Вес модели: ≈1,3 ГБ на 1 млрд параметров
- Контекст: ≈1,5 ГБ на каждую 1000 токенов на пользователя
- Резерв: +20%
Формула простая:
VRAM ≈ Веса + (Контекст × Окно/1000 × Пользователи) × 1.2
Пример:
Модель 7B, окно 4k, 5 пользователей
→ (1,3×7 + 1,5×4×5) × 1,2 = ≈47 ГБ
→ комфортно GPU 48 ГБ
Подходит для пилотов, тестов и быстрых смет.
⚙️ Точный способ — инженерный
Здесь важно, в каком формате хранятся веса: BF16, FP16, FP8, INT8 или INT4.
А также какой контекст и сколько одновременных запросов идёт.
Пример для 7B-модели, 4k контекста, 5 пользователей:
- Веса (BF16): ~14 ГБ
- KV-кэш: ~0,5 ГБ × 4 × 5 = 10 ГБ
- Итого: (14 + 10) × 1,2 = ~29 ГБ
- С INT8-весами: (8 + 10) × 1,2 = ~22 ГБ
👉 Реальный диапазон: 24–48 ГБ VRAM — в зависимости от формата и задач.
Что влияет на расход VRAM
- Длина контекста. Чем больше окно — тем больше KV-кэш.
- Количество пользователей. Каждый поток добавляет память.
- Формат весов. Квантовка (INT8/INT4) и FP8 экономят VRAM в 2–4 раза.
- Batch и параллелизм. Чем выше — тем больше пиковая нагрузка.
- Offloading на RAM/NVMe. Помогает «влезть», но снижает скорость.
Рекомендации по выбору GPU
- 48 ГБ — универсальное решение для инференса и пилотов (7–30B).
- 80–96+ ГБ — для устойчивого обучения и продакшн-нагрузок.
- 141+ ГБ — для длинных контекстов, больших моделей и мультимодальных задач.
Итог
Чтобы выбрать правильный сервер для ИИ, не нужно быть инженером.
Достаточно посчитать по двум формулам, добавить резерв 20% и выбрать класс GPU под свою задачу.
Если нужно точнее — специалисты MDM Electronics помогут подобрать конфигурацию, протестировать модели и оптимизировать VRAM без переплаты.
Больше информации и бесплатная консультация по подбору серверов для ИИ на нашем сайте >>