Компания Cerebras Systems объявила о том, что ее система CS-2, разработанная для дата-центров, способна обучать рекордно большие нейронные сети с 20 млрд параметров. Чип WSE-2, который используется в системе CS-2, оптимизирован для ИИ и содержит 2,6 трлн транзисторов. Это в 50 раз больше, чем большинство графических процессоров на рынке. Компания утверждает, что это самый быстрый ИИ-процессор в мире.
Одна из самых передовых нейронных сетей с открытым исходным кодом — модель обработки естественного языка GPT-NeoX. У нее 20 млрд параметров, которые определяют, как модель ИИ обрабатывает данные. Обучение настолько сложной нейронки требует настолько высоких вычислительных мощностей, что эта задача обычно выполняется только при помощи большого числа графических процессоров.
Компания Cerebras заявила, что обладает технологией, способной обучить GPT-NeoX при помощи одного-единственного устройства GS-2. И на сегодня только она обладает такими возможностями.
В памяти чипа можно хранить различные типы нейросетей, однако, некоторые модели ИИ с более чем миллиардом параметров требуют более 40 ГБ свободного места. Для них компания разработала технологию Weight Streaming. Она позволяет добавить к WSE-2 до 2,4 ПБ внешней памяти, что позволяет чипу обрабатывать более сложные модели, у которых до триллиона параметров.
