Привет дорогие читатели. Что-то я пропал надолго... Знаете, работа, диван, Helldivers 2, сериалы, работа. В целом, мне было чем заняться. За время простоя скопилось немало вещей, о которых я хотел вам поведать и первым будет мой небольшой опыт с ИИ. Так как смысла рассказывать вам, что такие нейросеть, я не вижу, перейдем сразу к делу. О, к слову, рассказ очень короткий и сделан как для самых маленьких. Так что жутких технических подробностей нет.
О чем пойдет речь?
Ollama — мощный инструмент для работы с большими языковыми моделями (LLM). Он позволяет запустить модель на компьютере без необходимости постоянного подключения к интернету. Ставится на любую популярную ОС, будь то Windows, дистрибутив Linux или MacOS. Обиженных нет. Не требует знания языков программирования, однако для эффективного использования было бы хорошо знать Python на очень базовом минимуме.
Как пользоваться?
Заходим на официальный сайт - https://ollama.com/search.
Скачиваем и устанавливаем программу на нужную вам систему ииии...
Вы великолепны! Почти. Открываем терминал (cmd в поисковой строке Windows).
Набираете "ollama -h", чтобы вывести список команд и проверить работоспособность. Далее:
Загрузить модель: ollama -pull имя_модели
Запустить: ollama -run имя_модели
Удалить: ollama -rm имя_модели
Имя модели берется с сайта Ollama. На нем же можно посмотреть полный список поддерживаемых моделей. Все мегапросто. Развлекайтесь на здоровье.
Красным подчеркнуты места на которые вам стоит обратить внимание в первую очередь:
- Models - список моделей;
- ollama run gemma3 - сайт сразу предлагает команду установки (run проверяет наличие модели перед запуском и, если ее нет, сам активирует pull);
- View all - показать весь список версий одной модели. На самом деле та модель, что будет скачена по предлагаемой команде может быть не шибко эффективна для ваших задач. Потому всегда стоит ознакомиться со списком.
Как использовать в скриптах?
Конечно же у этого чуда есть и api к python если кому надо, то вот команда установки:
pip install ollama
И простой пример кода:
import ollama
response = ollama.generate(
model="ИМЯ МОДЕЛИ",
prompt="ЗАПРОС"
)
print(response["response"])
Заключение
Ollama это замечательный инструмент, который позволяет любому человеку, будь то опытный программист или обычный скучающий обыватель, запустить у себя на компьютере настоящую нейронную модель. Однако не стоит ждать чуда! Chat GPT-4 на вашем компьютере не появится. Чем модель умнее, тем она требовательнее к "железу".
Как итог, поиграться? Да. Выполнить небольшую задачу? Да. Остальное - экспериментируйте!