Друзья, в моем канале есть видео ролик с темой, как запустить популярную языковую модель прямо на вашем компьютере и работать с ней через удобный графический интерфейс. Но кому не хочется тратить время на просмотр видео, я решил здесь расписать пошагово все действия.
⚠ Важно: Для установки потребуется компьютер с минимум 8 ГБ оперативной памяти и достаточно свободного места на жёстком диске.
Шаг 1: Установка Ollama
Первым делом скачиваем программу Ollama , которая поможет нам устанавливать и использовать различные модели ИИ. Переходите на официальный сайт: 🔗 https://ollama.com
Выберите свою операционную систему (например, macOS или Windows), скачайте архив и распакуйте его. После этого переместите файл в папку "Программы" (или эквивалент на вашей ОС).
Для проверки правильности установки откройте терминал (или командную строку) и выполните следующую команду:
ollama --help
Если всё работает, вы увидите список доступных команд.
Шаг 2: Установка Docker
Теперь переходим к установке Docker — это программа, которая позволит нам запускать контейнеры для работы с моделями. Заходите на сайт: 🔗 https://docker.com
Выберите нужную версию под вашу операционную систему (например, Apple Silicon для Mac M1/M2/M3 или Windows Desktop). Скачайте и установите программу. После установки запустите Docker и авторизуйтесь через свой Google аккаунт.
Шаг 3: Установка Open Web UI
Для создания удобного интерфейса используем Open Web UI . Это простой способ и визуально удобный для работы с моделями через браузер. Он находится на GitHub-странице проекта: 🔗 https://github.com/open-webui/open-webui
Вы же просто скопируйте команду ниже:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Вставьте команду в терминал и дождитесь завершения процесса.
Шаг 4: Выбор и загрузка модели
Теперь самое интересное — выбираем модель! Возвращаемся на страницу моделей Ollama: 🔗 https://ollama.com/search
Мы будем использовать DeepSeek R1 . Нажмите на неё и выберите подходящую версию.
Обратите внимание на два важных параметра:
➖Количество параметров: чем больше параметров, тем "умнее" модель. Например, 7B (7 миллиардов) — начальная базовая версия, а 14B (14 миллиардов) — уже более продвинутая, но требует больше ресурсов.
➖Квантизация: это упрощение модели для экономии места. Чем выше значение (например, Q8), тем меньше места займёт модель, но немного потеряет в точности.
Скопируйте команду для загрузки выбранной модели и вставьте её в терминал. Например:
ollama run deepseek-r1:14b-q4
Загрузка может занять около 10–15 минут, в зависимости от скорости интернета и объема выбранной модели.
Шаг 5: Запуск интерфейса
Когда всё установлено, откройте браузер и перейдите по адресу: 🔗 http://localhost:3000
Вы попадёте на экран авторизации. В самом низу нажимаете Get started. Создайте учётную запись администратора, указав имя, почту и пароль. После этого интерфейс будет полностью готов к работе!
Шаг 6: Тестируем модель
Теперь можно выбрать модель DeepSeek R1 из списка доступных и начать тестировать её возможности. Отправляйте текстовые запросы, загружайте файлы или даже общайтесь голосом.
❗Если вы не уверены, какую модель выбрать, можно спросить совета у других ИИ. Например, задайте вопрос Qwen или ChatGPT о том, какая версия модели лучше подойдёт для вашего компьютера. Пример запроса:
Помоги выбрать модель DeepSeek для установки локально. У меня Apple M1 Pro с 16 ГБ оперативной памяти. Какие параметры и квантизацию выбрать?
ГОТОВО!!!
Теперь у вас есть собственная локальная версия DeepSeek с удобным интерфейсом. Экспериментируйте, создавайте и делитесь своими результатами в комментариях! 💬