Появился самый простой способ запустить Mistral 8x7b Small.
Сначала вам нужно скачать модель. Не обращайте внимание на множество файлов, вам нужен только один. Выбирайте модель в зависимости от мощности вашего компьютера (ОЗУ и GPU). Здесь вы можете посмотреть рекомендуемые характеристики.
Следующий шаг — установить KoboldCPP с GitHub. Если у вас есть хорошая видеокарта от NVIDIA, то выберите koboldcpp_cuda.exe, а если нет — koboldcpp.exe.
Запустите exe-файл, откройте Models, нажмите на Browse сверху и найдите свою модель.
Подпишись: Telegram💎 | Дзен🧠 |Библиотека нейросетей🍏| You Tube📺
