NVIDIA в сотрудничестве с ServiceNow и Hugging Face в рамках проекта сообщества BigCode разработала семейство больших языковых моделей (LLM) StarCoder2 с открытым доступом для генерации кода. Среди особенностей указывается поддержка более 600 языков программирования.
Языковая модель StarCoder2 была обучена на 619 языках программирования, включая непопулярные вроде COBOL, и предлагается в трёх вариантах: 3 миллиарда, 7 миллиардов и 15 миллиардов параметров. Наименьшая модель была создана на базе фреймворка Fast LLM от ServiceNow и предлагает тот же уровень производительности, что и первая версия StarCoder с 15 миллиардами параметров. Средний вариант был сделан при поддержке компании Hugging Face. Наконец, самый продвинутый вариант StarCoder2 был обучен на инфраструктуре NVIDIA с применением TensorRT-LLM.
«Сотрудничество NVIDIA с ServiceNow и Hugging Face обеспечивает безопасные, ответственно разработанные модели и поддерживает более широкий доступ к ответственному генеративному ИИ, который, как мы надеемся, принесёт пользу мировому сообществу», — заявил Джонатан Коэн, вице-президент по прикладным исследованиям NVIDIA.
StarCoder2 полагается на новый набор данных кода под названием The Stack v2, включающий новые методы обучения для понимания языков программирования, математики и исходного кода. Немаловажно, что новые модели могут работать с большинством современных центральных процессоров и помогут компании быстрее писать код и выпускать приложения.
