Привет мир!
Какая нейросеть влезет в вашу видеокарту: считаем за минуту
Подборки «топ локальных нейросетей» не отвечают на главный вопрос: запустится ли это у вас. Считается просто. Число миллиардов параметров из названия (7B, 14B, 32B) умножьте на 0,7, получите гигабайты видеопамяти для сжатой версии Q4. На 8 ГБ живут модели до 8B, на 12 ГБ помещается 14B, на 24 ГБ идёт 32B.
Две ловушки, о которых почти не пишут. В карточке модели заявлено 128 тысяч токенов контекста, а программа запуска по умолчанию даёт куда меньше: модель теряет середину документа, и вы решаете, что она глупая. И второе: сильное сжатие Q4 бьёт по русскому сильнее, чем по английскому, появляются английские вставки и кривые падежи. Если память позволяет, берите Q5 или Q6.
Проверяйте на своих задачах, а не по чужим рейтингам. Десять реальных запросов через каждого кандидата, пятнадцать минут, и выбор сделан.
Новичку проще LM Studio, тем кто дружит с терминалом, ближе Ollama. Честная оговорка: локальная модель выигрывает в приватности и стоимости, но по сложным задачам уступает облаку. Рутина дома, сложное в облаке.
Около минуты
20 августа