Новый чип, пришедший на смену gaudi 2, сочетает в себе две 5-нм матрицы TSMC и оснащен 64 тензорными ядрами 5-го поколения, 128 ГБ памяти HBM2E со скоростью 3,7 Гбит/с и пропускной способностью 3,7 ТБ в секунду. Цифры свидетельствуют о существенных улучшениях по сравнению с gaudi 2, который оснащен 24 тензорными ядрами, 96 ГБ памяти HBM2E со скоростью 3,27 Гбит/с и пропускной способностью 2,45 ТБ/с. Gaudi 3 также включает 96 МБ SRAM с пропускной способностью 12,8 ТБ/с.
Другие важные характеристики включают 128 ГБ видеопамяти, 1835 TFLOPS производительности в матрицах FP8 и BF16 и 900 Вт энергопотребления. Для сравнения, gaudi 2 оснащен 96 ГБ видеопамяти, обеспечивает 835 TFLOPS в матрице FP8, 432 TFLOPS в матрице BF16 и потребляет 600 Вт энергии.
Кроме того, каждый ускоритель gaudi 3 оснащен двадцатью четырьмя портами Ethernet емкостью 200 Гб для обеспечения гибкой и открытой стандартной сети. Он также поставляется с дополнительной платой PCIe, которая, по словам компании, облегчит такие рабочие нагрузки, как точная настройка, логический вывод и поиск - расширенное поколение (RAG).
По словам Intel, чип gaudi третьего поколения обеспечит 4-кратные вычисления с использованием искусственного интеллекта для BF16, в 1,5 раза увеличит пропускную способность памяти и в 2 раза увеличит пропускную способность сети по сравнению со своим предшественником, тем самым предлагая "значительные улучшения производительности" для задач обучения и логического вывода на ведущих моделях GenAI.
Сравнивая gaudi 3 с Nvidia H100, Intel заявила, что ее новейший ускоритель искусственного интеллекта на 50 процентов быстрее по параметрам LLAMA2 7B и 13B, а также по параметрам GPT-3 175B. Также говорят, что он обеспечивает на 50% более быстрое вычисление и на 40% более высокую энергоэффективность для моделей с параметрами LLAMA 7B и 70B, а также FALCON 180B.
Intel добавляет, что gaudi 3 обеспечит на 30 процентов более быстрый вывод данных с параметрами LLAMA 7B и 70B, а также с параметрами FALCON 180B по сравнению с Nvidia H200. Тесты, предоставленные компанией, также предполагают, что gaudi 3 будет на 40-70 процентов быстрее для обучения ИИ, чем H100, в зависимости от LLM, но как он будет работать в реальной жизни, еще предстоит выяснить.
Первые образцы gaudi 3 уже предоставлены партнерам Intel, а массовое производство запланировано на вторую половину этого года. Согласно дорожной карте Intel, варианты gaudi 3 с воздушным охлаждением начнут поставляться в третьем квартале 2024 года, в то время как модели с жидкостным охлаждением начнут выпускаться только в четвертом квартале.
