Компания SberDevices представила многоязычную версию нейросети GPT-3 — модель под названием mGPT может генерировать тексты на 61 языке. Это первая в мире генеративная модель, которая поддерживает такое количество языков. Она доступна в двух версиях — базовой, с 1,3 млрд параметров, опубликованной в открытом доступе в облачном хранилище СберДиск. И расширенной — с 13 млрд параметров, которая скоро станет доступна на платформе машинного обучения ML Space от SberCloud.
Модель mGPT показывает выдающиеся результаты на многих задачах few-shot и zero-shot learning: в этой области машинного обучения не требуется отдельно доучивать модель — достаточно сформулировать задачу текстом и привести несколько примеров. Это может использоваться для того, чтобы научить автоматизированную систему отвечать на вопросы, определять эмоциональную окраску текста, извлекать из текста имена, фамилии, названия компаний и т. п. Модель может также использоваться как компонент различных речевых технологий — например, для улучшения качества распознавания речи или генерации сценариев диалоговых систем.
«Модель, среди прочего, станет нашим вкладом в сохранение и развитие языков народов России: mGPT умеет генерировать тексты, например, на татарском или якутском», — отмечает CEO SberDevices Денис Филиппов.
