Скачайте файл koboldcpp.exe с GitHub. Windows может предупредить вас о вирусах, но это часто происходит с открытым исходным кодом.
Затем перейдите на сайт и выберите подходящую модель формата ggml:
- LLaMA - оригинальная утекшая модель от Meta. Она не обучена и почти не имеет цензуры;
- Alpaca - самая привлекательная модель, дотренированная на данных с инструкциями версия LLaMA. Рекомендую GPT4xAlpaca;
- Vicuna - та же LLaMA, но ее тренировали на диалогах с ChatGPT. Максимально похожа на него, в том числе цензурой.
Учтите, что у моделей разное количество параметров (7B, 13B и т.д.) - чем больше их, тем лучше, но чат-бот будет отвечать дольше. Кроме того, увеличится нагрузка на процессор и ОЗУ. Загрузите понравившуюся модель с помощью торрента.
Запустите koboldcpp.exe и в появившемся окне укажите путь к загруженной модели (желательно, чтобы в нем не было кириллицы).
Через некоторое время в командной строке появится адрес «http://localhost:5001/» - откройте его в браузере и наслаждайтесь своей собственной бесплатной копией ChatGPT.
