Изначально бесплатная версия ChatGPT была достаточна для обычных пользователей с точки зрения качества и простоты использования. Когда OpenAI запустила подписку на ChatGPT Plus за 20 долл. в месяц, она предлагала немногим больше, чем бесплатная версия: GPT-4, приоритетный доступ во время простоя и плагины (да и те появились позже). Когда GPT-4 только появился, трудно было оправдать 20-месячную подписку. Однако еще одним обещанием ChatGPT Plus был приоритетный доступ к новым функциям, и OpenAI его выполнила...
Загружаем файл koboldcpp.exe с GitHub. Windows может ругаться на вирусы, но она так воспринимает почти весь opensource.
Идем сюда и выбираем подходящую нам модель формата ggml:
— LLaMA — исходная слитая модель от Meta. Не обучена и практически без цензуры;
— Alpaca — самая привлекательная модель, дотренированная на данных с инструкциями версия LLaMA. Рекомендуем GPT4xAlpaca;
— Vicuna — та же LLaMA, но тренировали ее на диалогах с ChatGPT. Максимально на него похожа, в том числе цензурой.
Учтите, что у моделей разное количество параметров (7B, 13B и т...