Введение.
В настоящее время искуственный интелект (ИИ), если точнее нейросети на основе больших языковых моделей (LLM) все больше проникают в нашу жизнь. Наиболее распространёнными сокращениями которые часто используют стали "ИИ", "нейронка" и "ChatGPT". Есть множество способов применения ИИ, из наиболее популярных можно выделить:
- получение справочной информации
- генерацию изображений и видео по текстовому описанию
- работу с текстами (написание статей, писем, создание художественной литературы)
- анализ больших массивов данных и выделение ключевой информации
- решение задач
- помощь в программировании
- участие в игровых процессах
Особенно активно ИИ используют школьники и студенты, только у родителей это вызывает неоднозначную реакцию. С одной стороны ИИ освобожает им больше свободного времени на развлечение, с другой - использование ИИ снижает мотивацию к самостоятельному обучению и развитию. Возникает вопрос: что случится если под рукой не будет устройства с интернетом которое все знает, что станет с умениями решать задачи.
Но давайте все же пока вопринимать ИИ не как угрозу, а как инструмент ускоряющий работу. Подобно тому, как компьютер в своё время заменил печатную машинку, использовании ИИ открывают новые возможности для повышения эффективности работы.
Почему стоит запускать модель с ИИ локально, а не через интернет?
В интернете появилось множество моделей искусственного интеллекта — как платных, так и бесплатных. Давайте рассмотрим те, что позволяют общаться через чат. Вот несколько популярных и бесплатных моделей:
- Алиса https://alice.yandex.ru/
- DeepSeek https://chat.deepseek.com/
Если у вас есть другие любимчики, не стесняйтесь, добавьте в комментарии к данной статье, и мне, и другим читателям будет интересно.
Так зачем же пытаться запустить модель на локальных ресурсах компьютера, а не пользоваться более быстрыми, умными и совершенными, доступными через сеть? Наверно, самых важных причин всего две, может три, и о них стоит задуматься:
- Доступность — к локальной модели нет ограничений с доступом, она бесплатна и доступна всегда, неважно, есть ли или нет у вас интернет и придумал или нет внешний сервис какие-то ограничения.
- Безопасность — ваши данные, с которыми работает ИИ, никуда не «утекут» и никто их не увидит, они остаются только у вас.
- Уникальность настройки — у модели можно снять ограничения на темы и типы ответов, которые могут быть выставлены внешними сервисами, можно настроить и обучить модель под ваши уникальные требования.
Требования.
Для запуска моделей потребуется компьютер с достаточно быстрым процессором, CPU желательно не ниже Intel i5, у любителей Mac должны быть чипы на M1 и выше. Оперативной памяти желательно 16 Gb или больше, свободное место на диске не менее 5 Gb. Если нужно, чтобы модели работали быстрее, желательно иметь видеокарту с 8 Gb видеопамяти или больше (лучше Nvidia, с AMD сложнее). Операционная система Microsoft Windows 10+, Linux или macOS. Далее будет рассмотрена установка на примере ОС Windows и ПО Ollama.
Что это такое Ollama?
Ollama — это фреймворк для локальной установки, запуска и управления большими языковыми моделями (LLM).
Другими словами, Ollama — это инструмент, через который легко загружать и использовать ИИ без интернета, с его помощью можно работать с искусственным интеллектом, который будет отвечать на вопросы, создавать тексты и программировать.
Установка и проверка запуска Ollama.
Для запуска моделей потребуется компьютер с достаточно быстрым процессором, CPU желательно не ниже Intel i5, у любителей Mac должны быть чипы на M1 и выше. Оперативной памяти желательно 16 Gb или больше, свободное место на диске не менее 5 Gb. Если нужно, чтобы модели работали быстрее, желательно иметь видеокарту с 8 Gb видеопамяти или больше (лучше Nvidia, с AMD сложнее). Операционная система Microsoft Windows 10+, Linux или macOS. Далее будет рассмотрена установка на примере ОС Windows.
- Скачиваем подходящий под вашу операционную систему установщик официального сайта https://ollama.com/download.
- Устанавливаем загруженный файл, там нет ничего сложного.
- Открываем терминал (в ОС Windows это программа cmd.exe) и проверяем, что всё установилось, командой:
> ollama -v
Получим ответ в виде версии ollama, в моем случае была версия 0.7.0, проверить также можно, посмотрев в системный трей или диспетчер задач.
Выбор и загрузка модели ИИ.
- Идем на сайт в раздел моделей https://ollama.com/search подбираем модель исходя из возможностей вашего компьютера.
Мне понравилась https://ollama.com/library/gemma3
2. Выбрав модель видим варианты загрузки ее версии в зависимости от размера модели (количества параметров в миллиардах) и с каким типом входных данных она умеет работать (текст, картинки), чем больше размер модели тем больше ей нужно ресурсов на вашем компьютере чтобы работать (CPU, GPU, места на диске, оперативной памяти)
В названии модели значение после двоеточия ":", например ":12b" - это 12 миллиардов параметров.
3. Для запуска нужной версии модели нужно в терминале ввести и запустить команду "ollama run <имя_модели>", но проще сразу скопировать уже готовую команду на сайте, она там есть в отдельном поле.
> ollama run <имя_модели>
> ollama run gemma3:12b
4. Модель загружается через Интернет, и после 100% загрузки и появления приветствия ">>>", тут же в терминале можно ей начать задавать вопросы.
Другие полезные команды.
Показать список загруженных моделей
> ollama list
Показать список запущенных моделей
> ollama ps
Остановить запущенную модель
> ollama stop <имя_модели>
> ollama stop gemma3:12b
Загрузка моделей библиотеки ollama.com/library
> ollama pull <имя_модели>
> ollama pull gemma3:4b
Удаление моделей
> ollama rm <имя_модели>
> ollama rm gemma3:4b
Подсказка по командам
> ollama help
Особенности работы
Если долго не обращаться и не спрашивать ИИ, то модель спустя 5 минут времени выгружается из памяти, и если что-то захотите у нее узнать, потребуется дополнительное время, пока она загрузится, проверить работает или нет модель можно командой
> ollama ps.
По умолчанию сервис Ollama слушает порт 11434 по адресу 127.0.0.1,
Переменные окружения
Сервис Ollama можно настраивать через переменные окружения, рассмотрим названия переменных и как их установить.
Все переменные можно посмотреть командой
> ollama serve --help
OLLAMA_HOST
Указывает хост и порт для сервиса Ollama, если указать адрес `0.0.0.0` то Ollama будет принимать запросы с любого IP-адреса сети
> set OLLAMA_HOST = 0.0.0.0:11500
OLLAMA_MODELS
Указывает путь к каталогу с моделями
> set OLLAMA_MODELS = D:\OLLAMAS_MOD
OLLAMA_KEEP_ALIVE
Указывает сколько времени не выгружать модель из памяти если к ней не обращаются, значение указывается в секундах,
> set OLLAMA_KEEP_ALIVE = 30
если на конце числа стоит символ m то в минутах,
> set OLLAMA_KEEP_ALIVE = 30m
в часах h (например )
> set OLLAMA_KEEP_ALIVE = 30h
OLLAMA_NUM_PARALLEL
Указывает максимальное количество параллельных запросов, которые каждая модель будет обрабатывать одновременно.
> set OLLAMA_NUM_PARALLEL = <значение>
OLLAMA_MAX_LOADED_MODELS
Указывает какое максимальное количество моделей, которые может быть одновременно загружено.
> set OLLAMA_MAX_LOADED_MODELS = <значение>
Пример .bat файла для установки параметров Ollama
set OLLAMA_HOST=0.0.0.0:11500
set OLLAMA_NUM_PARALLEL=2
set OLLAMA_KEEP_ALIVE=30m
Настройка работы с ИИ через веб интерфейс Open WebUI (в Windows, без использования Docker).
С искусственным интеллектом значительно проще работать через веб-интерфейс. Для этого как раз существует Open WebUI — веб-интерфейс с открытым исходным кодом, предназначенный для работы с различными LLM-моделями. Обычно советуют установить Open WebUI через Docker, но мы выберем другой путь. Для Windows Docker - это дополнительные сложности с установкой и лишняя нагрузка. Поэтому мы установим Open WebUI напрямую.
Порядок действий:
- Запустите консоль (в Windows это cmd.exe)
- Проверьте версию установленного Python, нужна версия 3.11 (именно 3.11).
> python -V
С другими версиями установка может быть с ошибками. Если не та версия или Python не установлен, качаем установщик с официального сайта https://www.python.org/downloads/release/python-3110/ , устанавливаем и не забываем перезагрузится.
Вместе Python установится PIP — это установщик пакетов для языка программирования Python, он нам понадобится в дальнейшем. Проверить что он установлен и его версию можно командой
> pip --version
3. Можно также обновить pip выполнив команду
> python.exe -m pip install --upgrade pip
4. Устанавливаем Open WebUI командой
> pip install open-webui
5. После установки Open WebUI, запустите его с помощью команды:
> open-webui serve
Если видите ошибку что программа не найдена, перейдите в каталог куда установился "open-webui" и из него запустите "open-webui serve". Если ваш Windows установлен на диск C: то перейти в консоли в нужный каталог и запустить Open WebUI нужно будет примерно так:
> cd C:\Users\ваш_логин\AppData\roaming\python\python311\scripts\
> open-webui serve
6. Откройте в браузере веб-интерфейс http://localhost:8080/, следуя подсказкам создайте аккаунт администратора Open WebUI.
7. Откройте настройки Open WebUI http://localhost:8080/admin/settings, выберите "Подключения " и проверьте что включено и корректно указан путь и порт до API вашего Ollama "http://localhost:11434"
8. Поздравляю! Теперь у вас есть полноценный веб-интерфейс для работы с ИИ-моделями прямо на вашем устройстве, без подключения к интернету.
9. В будущем для обновления Open WebUI используйте команду
> pip install --upgrade open-webui