Для установки этого веб-интерфейса для генерации текста на Windows есть несколько вариантов:
Самый простой - использовать однокликовый установщик для Windows. Нужно скачать файл oobabooga-windows.zip с github, распаковать и запустить start.bat. Веб-интерфейс и все зависимости установятся автоматически в ту же папку.
Скачать архив oobabooga-windows.zip с Github репозитория проекта:
прямая ссылка на скачивание архива
Полная последовательность действий будет следующей:
- Скачать и распаковать oobabooga-windows.zip
- Запустить start.bat и дождаться окончания установки (примерно 15 мин)
- Закрыть командную строку с установщиком
- Отредактировать CMD_FLAGS.txt, добавив нужные параметры --chat --api --wbits 4 --groupsize 128
- Запустить update.bat - это обновит зависимости проекта
- Запустить run.bat для старта веб-интерфейса
Мы установили только интерфейс, теперь нужно скачать саму Языковую модель
По моему мнения пока наилучшая модель vicuna сслыка
на скриншоте много разных моделей, но по факту они особо не отличаются, советую скачать модель на 10гб, предпоследняя которая.
Как скачаете модель ее надо будет перенести в папку \models
Путь до папки oobabooga_windows\text-generation-webui\models
- Если у вас открыт start.bat, лучше закройте и запустите заново
Теперь мы в веб интерфейсе переходим во вкладку Model
Тут будет только одна модель, это та самая наша крутая модель) кликаем на нее и нажимаем Load, чуть подгрузит и вуаля!
Переходим в Text Generation там где адресная строка, тута у нас тумблеры самолета
Там где Chat style, смените стиль на любой другой не позорьтесь.
Пишете все запросы на английском (используйте переводчик Deepl) А оранжевая кнорка Generate собственно это генерировать. умный да
Спасибо за внимание спасибо, спасибо, уверен этот пост почти никто не увидит, но нормальных гайдов на русском я так и не увидел!