ChatGPT весит гигабайты. Llama 70B — почти 140 гигабайт. Но что там внутри? Не код — он занимает мегабайты. Основной объём — это веса модели. Именно в них хранится всё, что нейросеть «знает».
Что такое веса
Веса (weights) — это числа. Миллиарды чисел.
Каждое число определяет силу связи между «нейронами» в нейросети. Именно эти числа модель «выучивает» во время тренировки.
Но что именно хранится в этих гигабайтах?
Аналогия: Представьте мозг человека. В нём ~86 миллиардов нейронов, связанных между собой. Сила каждой связи определяет, как мы думаем. Веса нейросети — это сила связей между её «нейронами».
Откуда берутся веса
Веса появляются в результате обучения:
1. 📚 Модели показывают огромное количество текстов
2. 🔄 Она пытается предсказать следующее слово
3. ❌ Ошибается — веса корректируются
4. ✅ Угадывает — веса закрепляются
5. 🔁 Повторяем миллиарды раз
Аналогия: Это как прокладывание тропинок в лесу. Идёте часто — тропинка становится дорогой. Идёте редко — зарастает.
Сейчас покажу на примере.
Параметры и веса — это одно и то же?
Почти.
• Параметр — это любое настраиваемое значение в модели
• Вес — это конкретный тип параметра (сила связи)
Когда говорят «модель на 7 миллиардов параметров» (7B), имеют в виду 7 миллиардов весов.
Модель | Параметры | Размер файла
Phi-2 | 2.7B | ~5 ГБ
Llama 2 7B | 7B | ~14 ГБ
Llama 2 70B | 70B | ~140 ГБ
GPT-4 (оценка) | ~1.8T | ?
Почему модели такие огромные
Вот почему модели такие огромные.
Каждый параметр — это число. Обычно число занимает:
• FP32 — 4 байта (полная точность)
• FP16 — 2 байта (половинная точность)
• INT8 — 1 байт (после квантизации)
Расчёт для Llama 70B:
│ 70 000 000 000 параметров × 2 байта = 140 ГБ
Миллиард чисел — это гигабайт. 70 миллиардов — 70+ гигабайт.
Веса — это «мозг» модели
Важно понять:
• 📝 Код нейросети — это просто «скелет» (несколько МБ)
• 🧠 Веса — это «мозг» с выученными знаниями (гигабайты)
Один и тот же код может запускать разные модели. Разница — только в весах.
Аналогия: Веса — как мозг в банке. Скачал файл — получил «мозг» нейросети со всеми её знаниями.
Форматы файлов весов
Если захотите скачать открытую модель, встретите такие форматы:
Формат → Описание
.safetensors → Безопасный формат от Hugging Face
.gguf → Оптимизирован для локального запуска
.bin / .pt → PyTorch формат
Для локального запуска через Ollama или LM Studio обычно используют .gguf.
📖 Словарик
• Веса (weights) — числовые значения связей между нейронами в сети
• Параметры — все настраиваемые значения модели (включая веса)
• 7B, 70B — миллиарды параметров (Billion)
• FP16, INT8 — форматы хранения чисел (точность)
• safetensors, GGUF — форматы файлов для хранения весов
📅 Актуально на: январь 2026
Теперь понятно, почему модели такие тяжёлые? Или есть вопросы? Пишите — разберёмся вместе!
Если статья была полезной — подписывайтесь, будет ещё много интересного!