А вы точно знаете размер своего бюста? 70А, 70B, 70С... или выбираете модель наугад? В этом видео делимся простым лайфхаком, который поможет окончательно закрыть этот вопрос☺️
Сколько видеопамяти нужно для LLM
Видеопамять для LLM складывается из трёх частей: веса модели, KV-кэш под контекст всех пользователей и служебный запас. В статье — формулы, пример для модели 70B на 15 одновременных сессий и когда пропускная способность памяти ограничивает скорость генерации. При инференсе — работе уже обученной модели — память GPU уходит на три вещи: Считать нужно все три части. Ошибка «модель 40 ГБ — значит, хватит карты на 48 ГБ» — типичная: на KV-кэш для нескольких пользователей места уже не остаётся. Объём...