Как запустить нейросеть как GPT на своем компьютере без навыков разработки: Полное руководство по Ollama

Почему это особенно актуально в России?

1. Нет необходимости использовать VPN для доступа к GPT — локальная модель избавляет от проблем с доступом к зарубежным сервисам.
2. Полная свобода от лимитов — вы можете использовать модель сколько угодно без ограничений на запросы.
3. Быстрая работа без задержек — все вычисления выполняются на вашем устройстве, что снижает время

Как запустить ии на своём компьютере

Введение

В этой статье мы расскажем, как установить и использовать Ollama — мощный инструмент для работы с открытыми моделями ИИ. Вы узнаете, как настроить Ollama, скачивать и запускать модели, а также познакомитесь с установкой Open Web UI — удобного интерфейса для взаимодействия с моделями. Вдобавок, мы рассмотрим, как использовать RAG для загрузки документов и общения с ними. Давайте начнем!

Установка Ollama

Загрузить Ollama

1. Загрузите Ollama:
   Перейдите на сайт ollama, выберите свою операционную систему и скачайте установочный файл.
2. Запустите установку:
   Откройте загруженный файл и нажмите Install. После завершения установки Ollama будет готов к использованию.

Запуск Ollama

Ollama можно запустить двумя способами:

• Через приложение: Откройте Ollama Desktop App и проверьте, появилась ли иконка в системном трее.
• Через терминал:
  - ollama serve: Запустить Olama
  Также вы можете воспользоваться командами:
  - ollama create: Создать модель из Modelfile
  - ollama show: Показать информацию о модели
  - ollama run: Запустить модель
  - ollama stop: Остановить запущенную модель
  - ollama pull: Загрузить модель из репозитория
  - ollama push: Отправить модель в репозиторий
  - ollama list: Показать список моделей
  - ollama ps: Показать список запущенных моделей
  - ollama cp: Скопировать модель
  - ollama rm: Удалить модель
  - ollama help: Показать справку по команде

Скачивание моделей

Для загрузки моделей следуйте инструкции:

1. На сайте Ollama: Перейдите на вкладку Models и выберите интересующую модель.
2. Выбор модели: Ознакомьтесь с параметрами модели. Например, можно выбрать модель с 1-миллиардом параметров или с 3-миллиардами параметров.
   Для большинства задач подойдет более легкая версия.
3. Загрузка через терминал:
   Скопируйте название модели с сайта и введите в терминал: ollama pool название_модели
   Чтобы убедиться, что модель установилась введите: ollama list

Управление и запуск моделей

Пример установки и первого запроса к Ollama

Поздравляю, у вас локально появилась собственная нейронка, теперь давайте проверим, что она работает корректно

Запуск модели
Для начала запустим ранее скаченную модель: ollama run название_модели
Теперь смоделью можно общаться как с GPT, только через терминал

Установка Web UI интерфейса

Работа с web инетрфейсом для ollama: hollama

Через терминал не очень удобно общаться с нейронкой, давайте для удобного взаимодействия с моделями через веб-интерфейс выполните следующие шаги:

Установите Docker:
Скачайте и установите Docker Desktop с docker.com.

1. Запустите Docker Desktop.
   Убедитесь, что он работает.
2. Установка Open Web UI:
   Скопируйте команду с сайта Open Web UI и выполните ее в терминале:
   docker run --rm -d -p 4173:4173 --name hollama ghcr.io/fmaclen/hollama:latest
3. Откройте интерфейс:
   Перейдите по адресу http://localhost:4173 в браузере, выберете в поле Available models модель которую мы ранее загрузили

Заключение

Теперь вы знаете, как установить и настроить Ollama и использовать её для работы с моделями ИИ. Локальное развертывание нейросетей особенно актуально для России, где использование зарубежных сервисов может быть ограничено. Кроме того, нейросети открывают огромные возможности для школьников, повышая мотивацию и улучшая результаты обучения за счёт персонализированного подхода. Подробнее о том, как нейросети могут помочь в образовании, читайте здесь.