Запустить локально LLM с открытым исходным кодом проще, чем кажется. Давайте рассмотрим пошагово данную процедуру.
Запускать будем модель Phi-2 от Microsoft (небольшая модель, которая займет 1,6Gb на вашем HD). Для этих целей понадобится специальный фреймворк Ollama, который, как раз предназначен для запуска открытых LLM моделей (Llama2, Llama3, Phi и др.) непосредственно на локальной машине.
Загружаем Ollama
Перейдите на сайт ollama.com, скачайте Ollama и установите.
Ollama поддерживает разные модели, которые можно найти здесь. Ниже приведены некоторые из них:
Для работы с Ollama через терминал, могут понадобиться следующие команды:
- Ollama serve – Запуск Ollama
- Ollama show – Просмотр информации о модели
- Ollama run – Запуск модели
- Ollama stop – Остановка модели
- Ollama create – Создать модель из конфигурационного файла “modelfile”
- Ollama help – Справка по команде
Загружаем модель Phi-2
После того, как Ollama благополучно загружена и установлена, открываем терминал и выполняем следующую команду:
Ждем, когда модель будет полностью загружена:
Все готово к работе
Модель Phi-2 готова к работе, спросите ее то, что вам интересно прямо из командной строки терминала:
Ollama modelfile
Модели, работающие в Ollama, можно настраивать с помощью изменения конфигурационного файла modelfile, который позволяет:
- Создавать новые модели на основе существующих
- Изменять параметры, например - длина контекста
- Настраивать системные подсказки и шаблоны
- Конфигурировать ответы
- Определить условия использования
Ниже приведена базовая структура (поля) modelfile:
- FROM - Определяет базовую модель
- PARAMETER - Параметры модели, например длина контекста
- TEMPLATE - Определяет шаблон подсказки
- ADAPTER - Адаптеры применяемые в модели
- SYSTEM - Системные настройки поведения модели
- LICENSE - Указывает лицензию
- MESSAGE - История сообщений
Настройка модели
Допустим, необходимо настроить модель таким образом, чтобы она отвечала, как известный персонаж Супер Марио.
Делаем копию существующего modelfile
Редактируем новый Modelfile
Открываем новый конфигурационный файл - Modelfile и редактируем его (меняем поле SYSTEM / определяем, персонажа, от имени которого будет с нами общаться модель):
Создаем новую модель
Создаем новую модель (mario) на базе нового конфигурационного файла (Modelfile) следующим образом:
Запускаем новую модель mario:
Поздравляем, новая модель создана и готова к работе!