Компания Cerebras обучила самую большую ИИ-модель на одном устройстве
Американский стартап Cerebras обучил «самую большую модель искусственного интеллекта» на одном устройстве, оснащенном чипом Wafer Scale Engine 2 (WSE-2).
Прорывная технология Cerebras Weight Streaming позволяет масштабировать память до любого объема, необходимого для хранения быстро растущего числа параметров в рабочих нагрузках ИИ.
«Используя программную платформу Cerebras (CSoft), наши клиенты могут легко обучать современные языковые модели GPT (такие как GPT-3 и GPT-J) с использованием до 20 млрд параметров в одной системе CS-2, — говорят представители компании.
Авторы разработки поясняют, что работающие на одном CS-2 модели настраиваются за несколько минут, и пользователи могут быстро переключаться между ними всего несколькими нажатиями клавиш.
Хранение до 20 моделей обработки естественного языка с миллиардами параметров в одном чипе снижает накладные расходы на обучение и масштабирование с помощью тысяч графических процессоров.
#стартап #память #язык
