1060 подписчиков
😒 Дождались! Цукер выкатил серию опенсорсных языковых моделей Llama 3.1.
Модельный ряд включает в себя LLM размерами 8B, 70B, и, давно ожидаемая, на 405B параметров.
Причем, версии 8B и 70B были выпущены и для ламы 3 в апреле. Но модели 3.1 подтянули в разных бенчах.
Наибольший прирост в математике и работе со сторонними инструментами через API. Ещё размер контекстного окна увеличился до 128к (можно скармливать книжки).
Примечательно, что открытая модель размером 405B на бенчах наравне с GPT-4o и Сlaude 3.5. Вот только, чтобы запустить её понадобится 750 ГБ видеопамяти.
Дабы это осуществить предоставлены версии для инференса на множестве GPU.
Также с большой и средней моделью моделью можно пообщаться бесплатно на hugging.chat (нажмите Activate рядом с нужным вариком).
Русский знает, хотя официально это нигде не сказано.
Через Tools можно использовать 405B для генерации и редактирования изображений, подключить к актуальным данным в интернете (потому что знания модели ограничены декабрём 2023), и не только.
В ЕС не представлена из за возни с юристами, чиновниками и безопасниками. Но очевидно, что для опенсорса это не преграда🤧
Демо (hugging . chat)
Демо (TogetherAI)
Демо (нужен айпишник США)
1 минута
24 июля 2024