Сколько памяти нужно для LLM: как рассчитать HBM для модели 7B, 70B и 400B
Разбираемся без маркетинга: сколько видеопамяти реально нужно для запуска языковых моделей на 7, 70 и 400 миллиардов параметров. Формулы, таблицы, реальные цифры и типичные ошибки при выборе GPU-инфраструктуры для ИИ. Приветствую всех, кто хоть раз открывал страницу с характеристиками GPU-сервера, видел строчку «80 ГБ HBM2e» и думал: «А хватит ли мне этого для моей модели?». Заваривайте кофе, потому что сейчас мы разберёмся с вопросом, который маркетинговые брошюры старательно обходят стороной —...