Meta* запустила самую мощную большую языковую модель в открытый доступ. Рассказываем, что известно о Llama 3 сейчас.
Пользоваться нейронками уже можно через сайт компании (пока нужно американское VPN-подключение). Ассистент также появился в соцсетях и мессенджерах Цукерберга. Можно работать с текстом и изображениями.
Доступны модели на 8 и 70 миллиардов параметров, они сразу стали лидерами в своей категории. Окно контекста при этом скромное — 8000 токенов у обеих.
Модель на 400 миллиардов ещё тренируют, к лету она также должна появиться в доступе. Пока она уступает по параметрам Claude Opus и последней версии GPT4-Turbo. Но Meta*, во-первых, выпустит бесплатную open-source, а во-вторых модель ещё дообучают.
Llama-3 тренировали на большом количестве скриптов, использовались огромные мощности. Дообучение провели на 10 миллионах датасетов, размеченных вручную сотрудниками.
* — компания признана экстремистской и запрещена в РФ.
Около минуты
19 апреля 2024