1377 подписчиков
Ну вот, подняли свою ИИ. Точнее сразу несколько gemma2:27b, phi3:medium-128k, qwen2:latest, mistral-nemo:latest и llama3.1:latest
Вот на картинке моментальная генерация ответа на вопрос "что такое парсинг". Скорость, как мне кажется, около 500 символов в секунду (но это не точно, лишь мои замеры на глаз).
Можно моментально менять модель ИИ и проверять как другая ответит. ИИ работает в 4 потока. Я упоминал, что мы купили карту для этих целей... Ну, начинаем использовать в работе :)
p.s. в конечном итоге остановились на ИИ gemma2 27b - самое связное выдает, хотя иногда голлюционирует :)
Около минуты
21 августа 2024