Здравствуйте, дорогие друзья!
Совсем недавно разработчики LLaMa представили новое поколение больших языковых моделей с открытым исходным кодом Llama 3 с параметрами 8B и 70B. По сравнению с предыдущими моделями, эти новые модели обладают улучшенной производительностью и способностью к рассуждению, а также они показали лучшие результаты в кодинге. Также было объявлено, что гигантская 400-миллиардная модель все еще находится в процессе доработки.
Llama, по сравнению с конкурентами, является бесплатной и превосходит конкурентов по метрикам, за исключением Claude Opus от Anthropic, которой она уступает по некоторым параметрам. По количеству "знаний", которые нейросеть получила при предварительном обучении, Llama 3 (причем обе модели – 8B и 70B) обогнала Gemini Pro 1.5 и Claude 3 Sonnet. Она знает 30 языков и имеет доступ к актуальной информации в Google и Bing, что позволяет ей в реальном времени отвечать на вопросы. Так же появилась возможность интеграции модели в приложения, и сегодня мы попробуем интегрировать её в VC Code.
Это отличная новость для тех, кто только начинает изучать программирование на Python и не только. Теперь вы можете использовать одну из лучших альтернатив GPT-4 абсолютно бесплатно!
Давайте приступим к установке.
1. Скачайте расширение CodeGPT для Visual Studio Code и саму Ollama.
2. Установите их и откройте терминал командой cmd
После установки Ollama, убедитесь, что она работает в фоновом режиме. Проверить это можно посмотрев в системный трей, обнаружив там значок Ollama в виде ламы или диспетчере задач.
3. В терминале введите команду:
"ollama pull llama3:8b"
Это может занять некоторое время, так как размер модели превышает 4 ГБ. Наберитесь терпения и дождитесь завершения процесса. После успешного завершения вы увидите соответствующее сообщение, как показано на скриншоте выше.
Если при выполнении команды возникает ошибка, что "ollama" не является внутренней или внешней командой, то вам нужно попробовать установить пакет ollama с помощью команды:
"pip install ollama".
Если ошибка не исчезает, то попробуйте переустановить пакет, командами в терминале:
pip uninstall ollama - удаление пакета
pip install ollama - установка пакета
Если вдруг и в этом случае ошибка осталась:
1. Убедитесь, что у вас установлен Python 3.6 или выше
(но не выше 3.10.11 в случае если вы пользуетесь stable diffusion или fooocus)
2. Убедитесь, что ollama установлена в правильной среде Python.
Вы можете проверить это, введя следующую команду:
python -c "import sys; print(sys.path)"
Если вы видите путь к каталогу(ам), содержащему файл ollama/__init__.py, значит вы находитесь в правильной среде Python. Если вы не видите этот путь, вам нужно активировать виртуальную среду Python.
Активация виртуальной среды в Windows:
activate venv
После активации виртуальной среды повторите попытку установки ollama с помощью команды:
pip install ollama
Если опять вы видите эту или другую ошибку:
c:\Users\iceman\AppData\Roaming\Python\Python310\Scripts>activate venv
"activate" не является внутренней или внешней командой, исполняемой программой или пакетным файлом.
то это означает, что в вашей системе не создана виртуальная среда Python.
Виртуальная среда Python - это изолированная среда, в которой можно устанавливать пакеты Python без влияния на другие установленные пакеты. Обычно виртуальные среды используются для разработки и тестирования проектов Python.
Чтобы создать и активировать виртуальную среду Python, выполните следующие действия:
1. Откройте терминал или командную строку.
2. Создайте виртуальную среду с помощью следующей команды:
python -m venv venv
3. Активируйте виртуальную среду с помощью следующей команды:
.\venv\Scripts\activate
После активации виртуальной среды вы должны увидеть префикс (venv) в приглашении командной строки. Это означает, что вы находитесь в виртуальной среде и можете устанавливать пакеты в нее.
Повторно вводите команду:
ollama pull llama3:8b
Вы также можете использовать менеджер виртуальных сред, такие как virtualenv или conda, для создания и управления виртуальными средами.
Дополнительно вы можете прочитать документацию по виртуальным средам, Virtualenv и Conda.
После установки переходим в VC Code.
В левой панели быстрого доступа должна появиться иконка Code GPT.
Если вдруг её нет, то нажимаем комбинацию клавиш Ctrl+Shift+P и в появившейся строке поиска вводим "codegpt" и выбираем "CodeGPT Chat".
После выбора в левом окне VC Сode загрузится расширение CodeGpt с выбором провайдера и модели. Выбираем Ollama и модель llama3:8b.
Создаем проект, или открываем существующий. Выделяем код или фрагмент кода, жмём правую кнопку мыши и выбираем
Нейросеть проанализирует ваш код и, по запросу, даст совет или напишет необходимый код для вас или вместо вас. Это очень удобно, потому что вам больше не придется копировать и вставлять блоки кода в ChatGPT или другие чат-боты, находящиеся за пределами VS Code. Кроме того, эта нейросеть совершенно бесплатна и работает локально на вашем компьютере, так что вам не нужно беспокоиться о стоимости API или подключении к интернету.
Вот и все пошаговое руководство о том, как запустить Llama 3 в Visual Studio Code.
Ну и конечно же, если вам понравилась эта статья, буду рад вашим подпискам, комментариям и лайкам. Недавно я запустил Discord-канал и постараюсь поддерживать его насколько возможно, там вы сможете не только следить за новостями, но и общаться, делиться опытом и приобретать новые знания о нейросетях. Чтобы всегда быть в курсе моих новых материалов, подписывайтесь на мой Boosty, Telegram-канал и страницу "ВКонтакте". Пока что нас немного, но я надеюсь, что с течением времени сообщество станет больше. Это станет отличной мотивацией для меня активно работать и над другими социальными сетями.
Всего доброго и до новых встреч.