Компания Cerebras, производящая самый крупный в мире чип Wafer Scale Engine 2 (WSE-2), представила свой суперкомпьютер Andromeda. Andromeda объединяет 16 чипов WSE-2 размером около 20 сантиметров в один кластер с 13,5 миллионами оптимизированных ядер, которые, по словам компании, обеспечивают до 1 эксафлопс вычислительной мощности для обучения моделей класса GPT.
Вся система потребляет 500 кВт, что значительно меньше, чем у суперкомпьютеров с GPU-ускорением. Однако масштабирование рабочей нагрузки на таких суперкомпьютерах долгое время было одним из основных препятствий — в какой-то момент масштабирование имеет тенденцию к сбою.
Однако Cerebras в утверждают, что реализация почти линейно масштабируется с моделями класса GPT, такими как GPT-3, GPT-J и GPT-NeoX. Andromeda также может обрабатывать модели с 2,5 миллиардами и 25 миллиардами параметров, которые стандартные кластеры графических процессоров просто не могут обработать из-за ограничений памяти.
Cerebras WSE-2 — самый большой в мире однокристальный процессор. Каждый 7-нм чип специально разработан для решения рабочих задач ИИ с 850 000 ядер, распределенных по 46 225 мм2 кремния, заполненного 2,6 триллионами транзисторов. Чип имеет 40 ГБ встроенной памяти SRAM, 20 петабайт пропускной способности памяти и 220 петабит совокупной пропускной способности. Каждый WSE-2 потребляет 15 кВт электроэнергии.
Масштабирование рабочей нагрузки не соответствует норме в большинстве крупных систем, что приводит к уменьшению точки возврата (return point), часто из-за ограничений кода, памяти, структуры или сети. Однако Cerebras продемонстрировала, что ее системы CS-2 масштабируются почти линейно за счет параллелизма данных без каких-либо изменений в базовом коде — суперкомпьютер Andromeda компании начал справляться с рабочими нагрузками в течение десяти минут после полного подключения.