Знаменитая компания, которую признали экстремистской в РФ, не намерена просто так сдаваться и позволить OpenAI уйти с трофеем ИИ. Вчерашнее объявление подтверждает эту точку зрения.
Марк Цукерберг анонсировать скорейший выход Llama 3 (LLM) , самый большой набор моделей искусственного интеллекта компании на сегодняшний день.
Что тут занимательного?
Во-первых, это размер моделей. Их всего три. Два самых маленьких, Llama 8B и 70B, включают в себя 8 и 70 миллиардов параметров соответственно. А вот третья, Llama 400B, взорвет мозг: в ней целых 400 миллиардов параметров. Да, это не ошибка.
Во-вторых, это касается колоссального объема данных, на которых эти модели тренируются. По заявлению компании, модели Llama 3 были покорены более чем 15 триллионами токенов - это такие конкретные штучки, как слова, на которых эти модели натаскиваются. В то время как предыдущее поколение, Llama 2, училось на 2 триллионах токенов - неплохо, конечно, но по сравнению сегодняшней моделью, это просто тени.
В-третьих, как же он себя ведет в сравнении с другими моделями на рынке? Llama 8B и 70B оказываются "одними из самых мощных моделей по количеству параметров". Это довольно серьезное утверждение, не так ли?
Компания ссылается на результаты Llama 3 в различных тестах искусственного интеллекта, таких как MMLU и ARC, которые проверяют модели по широкому спектру вопросов от биологии до математики. По этим оценкам Llama 8B обгоняет модели, такие как Mistral 7B и Gemini 7B, а Llama 70B превосходит Gemini 1.5 Pro, но уступает Anthropics, самой мощной модели, Claude 3 Opus.
Как и раньше, Llama 3 отличается открытым исходным кодом, поэтому разработчики могут вносить свои идеи и улучшения, чтобы делать ее еще лучше.
Вся инфа о модели лежит на Гитхабе.
Кто хочет попробовать Llama 3, может сразу общаться с доступными моделями (8B и 70B).