Cerebras Systems представила свой новейший чип ИИ, Wafer Scale Engine 3 (WSE-3), производительность которого вдвое выше, чем у его предшественника WSE-2.
Новый чип имеет 4 трлн транзисторов, 900 000 ядер, 44 ГБ встроенной памяти SRAM и производительность 125 FP16 PetaFLOPS, и изготовлен по 5-нм техпроцессу TSMC. По словам компании, эта невероятная вычислительная мощность WSE-3 будет использоваться для обучения некоторых из самых больших и мощных моделей искусственного интеллекта.
Гигантский суперкомпьютер на базе гигантских вычислений для гигантских ИИ
В прошлом году компания анонсировала суперкомпьютеры WSE-2 и CS-2. Аналогичным образом WSE-3 питает суперкомпьютер CS-3 компании Cerebras, обеспечивая вычислительную мощность для обучения моделей ИИ с 24 трлн параметров. Cerebras CS-3 также может поддерживать внешнюю память объемом 1,5 ТБ, 12 ТБ или 1,2 ПБ. Таким образом, можно хранить большие модели в единой логической области без разделения или реорганизации и обрабатывать их здесь же. Это упрощает процесс обучения и повышает эффективность разработки.
Cerebras CS-3 также предлагает широкие возможности для масштабирования. По данным компании, CS-3 может быть сконфигурирован в кластеры до 2048 систем. Такая масштабируемость позволяет системе из четырех систем всего за один день провести точную настройку модели с 70 млрд параметров и полностью обучить такую модель, как Llama 70B.
Компания подчеркивает, что CS-3 сохраняет такое же энергопотребление, как и его предшественник, несмотря на удвоение производительности. Однако CS-3 также упрощает обучение больших языковых моделей (LLM) по сравнению с графическими процессорами. По данным компании, на платформе Cerebras модель размером с GPT-3 требует всего 565 строк кода (на 97 % меньше, чем на GPU).
Компания утверждает, что CS-3 уже вызвала большой интерес, получив значительные заказы как от государственных структур, так и от поставщиков облачных услуг. Кроме того, планируется сотрудничество в области здравоохранения с такими учреждениями, как Аргоннская национальная лаборатория и клиника Майо. Но это еще не все. Было объявлено о расширении стратегического партнерства между Cerebras и G42. Целью партнерства является создание Condor Galaxy 3, суперкомпьютера для искусственного интеллекта с 64 системами CS-3 (57 600 000 ядер). Обе компании уже построили два крупнейших в мире суперкомпьютера для искусственного интеллекта: Condor Galaxy 1 (CG-1) с производительностью 8 ExaFLOP и Condor Galaxy 2 (CG-2).