С момента запуска своего первого чипа Wafer Scale Engine (WSE) компания Cerebras не остановилась на достигнутом и теперь представила решение третьего поколения с невероятными характеристиками, которые следует учитывать из-за его огромных размеров. Как следует из названия, чип, по сути, представляет собой целую кремниевую пластину, и на этот раз Cerebras делает ставку на искусственный интеллект с некоторыми мощными характеристиками, которые представлены ниже.
• 4 триллиона транзисторов;
• 900 000 ядер искусственного интеллекта;
• 125 петафлопс пиковой производительности искусственного интеллекта;
• 44 ГБ встроенной SRAM;
• 5-нм техпроцесс TSMC;
• Внешняя память: 1,5 ТБ, 12 ТБ или 1,2 ПБ;
• Обучает модели ИИ по 24 триллионам параметров;
• Размер кластера до 2048 систем CS-3.
Cerebras WSE-3 имеет размер кристалла 46 225 мм2, что в 57 раз больше, чем у NVIDIA H100, площадь которого составляет 826 мм2. Оба чипа основаны на 5-нм техпроцессе TSMC. H100 считается одним из лучших AI-чипов на рынке с его 16896 ядрами и 528 тензорными ядрами, но он затмевается WSE-3, предлагающим невероятные 900 000 оптимизированных для AI ядер на чип.
WSE-3 также имеет высокие показатели производительности, подкрепленные пропускной способностью памяти 21 петабайт в секунду (в 7000 раз больше, чем у H100) и пропускной способностью Fabric 214 петабит в секунду (в 3715 раз больше, чем у H100). Чип включает 44 ГБ встроенной памяти, что в 880 раз больше, чем у H100.
По сравнению с WSE-2, чип WSE-3 предлагает в 2,25 раза больше ядер, в 2,4 раза больше SRAM (44 ГБ против 18 ГБ) и гораздо более высокие скорости межсоединения в том же размере корпуса. Транзисторов на WSE-3 также на 54% больше (4 триллиона против 2,6 триллиона).
Чип предназначен в первую очередь для искусственного интеллекта и обеспечивает пиковую производительность искусственного интеллекта 125 петафлопс. NVIDIA H100 предлагает около 3958 Терафлопс или около 4,0 петафлопс пиковой производительности искусственного интеллекта, поэтому здесь речь идет об увеличении в 31,25 раза. Чип также поставляется в различных конфигурациях с памятью от 1,5 ТБ до 1,2 ПБ. Благодаря такой мощности в одном кристалле чип может обучать модели ИИ с 24 триллионами параметров.
В дополнение к чипу WSE-3, Cerebras Systems также анонсирует свой суперкомпьютер CS-3 AI, который может обучать модели в 10 раз большие, чем GPT-4 и Gemini, благодаря огромному объему памяти. CS-3 AI предназначен как для корпоративных пользователей и обеспечивает гораздо более высокую эффективность производительности по сравнению с современными графическими процессорами.
64 таких систем искусственного интеллекта CS-3 будут использоваться в суперкомпьютере Condor Galaxy 3, который обеспечит производительность вычислений искусственного интеллекта 8 экзафлопс, что удвоит производительность системы при той же мощности и стоимости. Компания не раскрыла цены и доступность чипов WSE-3, но ожидается, что они будут стоить довольно дорого, намного больше, чем запрашиваемая цена в 25–30 тысяч долларов за графические процессоры NVIDIA H100.