Наконец-то не нужен VPN, чтобы генерить качественный текст. Не нужен даже интернет. И даже деньги не нужны.
LLaMA - новое поколение ИИ-моделей - самая мощная нейросеть с открытым исходным кодом. Это значит, что языковую модель можно скачать и установить локально на своем компьютере и пользоваться ей даже без интернета.
Судя по обзорам и тестам LLaMA во многом справляется лучше, чем GPT-4. В любом случае, для бытового пользования будет более, чем достаточно.
Главные системные требования - оперативная память от 16ГБ и сносный процессор, иначе безбожно тормозит. Мой винтажный мак с 8ГБ оперативки очень недоволен такой нагрузкой.
Как установить LLaMA
Может звучать сложно, но это не так. На весь процесс уйдет от силы 10 минут.
1. Скачать и установить Ollama
Переходим на сайт Ollama, загружаем последнюю версию под свое устройство и ОС. Ollama - это инструмент для локального запуска больших языковых моделей.
Устанавливаем и запускаем Ollama, убеждаемся, что софт работает в фоновом режиме (есть значок в трее или диспетчере задач).
2. Скачать и установить языковую модель
Для этого запускаем терминал и пишем:
ollama run llama3:8b
Можно погуглить другие версии, я пользовался этой. Потребуется некоторое время на установку, потому что модель весит почти 5ГБ. После установки можно сразу начинать пользоваться в том же самом терминале, но это не очень удобно, поэтому переходим к следующему шагу.
3. Скачать и установить ChatBox
Не обязательно чатбокс, можно погуглить другие локальные чат-боты. Скачиваем отсюда, устанавливаем для своего устройства и ОС. После этого, если Ollama не запущена, запускаем сервер Ollama через иконку или пишем в терминале:
ollama serve
4. Настроить ChatBox
После установки ChatBox открываем его, сразу открываются “Настройки”, выбираем Ollama среди поставщиков AI-модели. Также будет предложено ввести лицензионный ключ ChatBox, этого делать не нужно.
Всё!
Пишем в чат свой запрос к нейросети, и она отвечает. Теперь можем писать статьи, редактировать текст, задавать тупорылые вопросы, нейросеть все стерпит. Помним, что нейросеть тренирована на английском, поэтому в запросе уточняем, чтобы писала на русском.
А еще можно поставить плагин для LLaMA на Visual Studio Code, например CodeGPT и пользоваться в качестве ассистента, LLaMA шарит за код. Ну кодеры уж сами разберутся, как это сделать, там ничего сложного.
И еще:
Загляни в мой ТГ-канал, пишу про свои будни стартапера и всякое другое.