Для тех кто давно хотел локально запустить опенсорсную LLM, но не очень программист:
💫Пошаговая инструкция по локальной установке LLaMA на ПК без кодинга.
Шаг 1: Установка Ollama
Перейдите на сайт ollama.com и скачайте приложение Ollama для вашей ОС
Шаг 2: Скачивание модели LLaMA
Вернитесь на сайт ollama.com
В строке поиска "Search Models" найдите модель "llama-3.21-7b" (рекомендуется для слабого железа) или другую желаемую модель.
Скопируйте команду установки модели из блока справа
Шаг 3: Запуск LLaMA в терминале
Откройте терминал:
В macOS: Command + пробел, наберите "Терминал" и нажмите Enter.
В Windows:
Способ 1 (классический терминал): Нажмите Win + R, введите cmd и нажмите Enter.
Способ 2 (PowerShell): Нажмите Win + X, выберите "Windows PowerShell" или "Терминал Windows".
Способ 3 (поиск): Нажмите Win, начните набирать "cmd" или "powershell" и выберите соответствующее приложение.
Вставьте скопированную команду в терминал и нажмите Enter. Начнется скачивание модели. 3.12 весит 4.7gb
После завершения скачивания, вы можете задавать вопросы модели прямо в терминале. Введите: ollama run llama3.1 и затем ваш вопрос.
Шаг 4 (Опционально): Установка интерфейса Open Web UI через Docker (для более удобного использования)
Установка Docker:
Перейдите на сайт docker.com и скачайте Docker Desktop для вашей операционной системы.
Установите Docker Desktop и создайте аккаунт (или войдите в существующий).
Установка Open Web UI:
Убедитесь, что Ollama не запущена (в терминале, где запущена модель, выполните команду /bye, затем закройте терминал).
Перейдите на сайт https://docs.openwebui.com/
Найдите инструкции по установке с Docker. Скопируйте команду для установки text-generation-webui (docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main).
Вставьте скопированную команду в терминал и нажмите Enter. Дождитесь завершения установки.
Запуск Open Web UI:
После установки text-generation-webui в Docker, в терминале будет указан адрес для доступа к интерфейсу (начинается с http://localhost:). Скопируйте этот адрес.
Откройте браузер и вставьте скопированный адрес в адресную строку.
В интерфейсе Open Web UI выберите вашу модель LLaMA и начните общени
е.
🔜Инструкция предполагает базовое знакомство с терминалом.
🔜Процесс скачивания модели может занять значительное время.
🔜Если вы не хотите использовать Docker и Open Web UI, вы можете взаимодействовать с LLaMA напрямую через терминал с помощью Ollama.
🔜Для Windows PowerShell, может потребоваться разрешить запуск скриптов. Выполните команду: Set-ExecutionPolicy RemoteSigned.
🔜Скорость (и возможность) работы модели зависит от железа
Не ожидайте чудес, если вы искали способ отписаться от GPT и сэкономить $20 в мес, то это не он ))
