1012 подписчиков

😒 Дождались! Цукер выкатил серию опенсорсных языковых моделей Llama 3.1.

Модельный ряд включает в себя LLM размерами 8B, 70B, и, давно ожидаемая, на 405B параметров.

Причем, версии 8B и 70B были выпущены и для ламы 3 в апреле. Но модели 3.1 подтянули в разных бенчах.

Наибольший прирост в математике и работе со сторонними инструментами через API. Ещё размер контекстного окна увеличился до 128к (можно скармливать книжки).

Примечательно, что открытая модель размером 405B на бенчах наравне с GPT-4o и Сlaude 3.5. Вот только, чтобы запустить её понадобится 750 ГБ видеопамяти.

Дабы это осуществить предоставлены версии для инференса на множестве GPU.

Также с большой и средней моделью моделью можно пообщаться бесплатно на hugging.chat (нажмите Activate рядом с нужным вариком).

Русский знает, хотя официально это нигде не сказано.

Через Tools можно использовать 405B для генерации и редактирования изображений, подключить к актуальным данным в интернете (потому что знания модели ограничены декабрём 2023), и не только.

В ЕС не представлена из за возни с юристами, чиновниками и безопасниками. Но очевидно, что для опенсорса это не преграда🤧

Анонс

Демо (hugging . chat)

Демо (TogetherAI)

Демо (нужен айпишник США)

Хаггинг

📱 t.me/neuralmagic_official

🎞 youtube.com/@Neural_Magic

😒 Дождались! Цукер выкатил серию опенсорсных языковых моделей Llama 3.1. Модельный ряд включает в себя LLM размерами 8B, 70B, и, давно ожидаемая, на 405B параметров.

1 минута

24 июля 2024