80 подписчиков
StabilityAI выпустили языковую модель Stable LM 3B.
Она сделана с фокусом на мобильных устройствах, где будет потреблять мало ресурсов и обойдётся дешевле в обслуживании. Её можно зафайнтюнить на своих данных, чтобы она была экспертом в указанной области.
Натренирована на 1Т (триллионе) токенов в течение 4 эпох на 256 A100 и показывается себя лучше остальных в своём классе, плюс превосходит некоторые 7B модели. Контекст 4К, весит 5,5 Гб.
А ещё на днях вышла Mistral 7B, которая лучше ламы-2 13B на бенчмарках. То есть маленьких, но мощных и оптимизированных моделей становится всё больше.
Около минуты
2 октября 2023