124 подписчика
Llama 3 доступна в размерах 8B и 70B
(400B еще тренируется)
Описание Llama3:
1. Длина контекста 8.000
2. Обучение проводилось на 15.000.000.000.000 токенах на специально созданном кластере из 24.000 графических процессоров
3. В некоторых случаях Llam3-8B работает лучше, чем Llama2-70B
В ближайшие несколько месяцев появятся новые версии
Около минуты
19 апреля 2024