Как узнать максимальный объем оперативной памяти
Сколько видеопамяти нужно для локального ИИ: 8, 12, 16 или 24 ГБ
Разбираем, почему для локальных нейросетей объём видеопамяти важнее игровых FPS. Объясняем, как размер модели и квантование влияют на требования к VRAM, и какие сценарии открываются при 8, 12, 16 и 24 ГБ. В играх видеокарты сравнивают по среднему FPS. Для локальных нейросетей эта метрика почти ничего не говорит. Модель должна целиком поместиться в видеопамять вместе с промежуточными вычислениями. Если VRAM не хватает, часть данных уходит в оперативную память или на диск — скорость падает в разы, а иногда запуск просто невозможен...