Найти тему
380 подписчиков

Уже доступные квантованные GGUF версии модели LLaMa-3 8B, LLaMa-3-8B-Instruct, Llama-3-70B-Instruct


Скачать можно тут:

Для работы LLaMa-3-8B потребуется приблизительно от 4 Gb (для Q2_K) до 9 Gb (для Q8_0) оперативной памяти.

Для 70B модели примерно потребуется от 26 (Q2) до 50 (Q5) Гигабайт оперативной памяти.

Пишите в комментариях, первые впечатления от новой LLaMa 3, как вам?

Около минуты