На выставке Vision 2024 компания Intel приоткрыла завесу тайны над Gaudi3, своим ускорителем нового поколения, сочетающим в себе два 5-нм кристалла производства TSMC. Чип может похвастаться впечатляющими характеристиками: 64 тензорных ядра 5-го поколения, 128 ГБ памяти HBM2w и мощность в 900 Вт. Gaudi3 пришел на смену Gaudi2, разработанному Habana Labs, которую Intel приобрела пять лет назад. Количество тензорных ядер увеличилось с 24 на Gaudi2 до объединения двух 32-ядерных чипов в Gaudi3. Каждый чип имеет 48 МБ SRAM-памяти, всего 96 МБ на весь пакет. Сама память SRAM имеет пропускную способность 12,8 ТБ/с и поддерживается памятью HBM2e, но с более высокой общей пропускной способностью 3,7 ТБ/с по сравнению с 2,45 ТБ/с у Gaudi2. Кроме того, полная емкость, как сказано выше, увеличилась с 96 ГБ до 128 ГБ.
Для варианта форм-фактора PCIe (HL388) Gaudi3 также использует интерфейс PCI Express 5.0 на всех 16 линиях. Согласно имеющейся информации эта версия имеет TDP 600 Вт, что редко встречается для этого форм-фактора. Однако существует и версия ОАМ (HLB-32B), имеющая номинальный TDP 900 Вт при воздушном охлаждении сервера, а при водяном охлаждении этот показатель может быть еще выше.
Intel привела несколько сравнений с нынешним лидером отрасли NVIDIA, имеющей в своем ассортименте чипы H100 и H200 на базе архитектуры Hopper и уже анонсировала преемника на архитектуре Blackwell, выпуск которого, однако, не стоит ожидать в ближайшее время. Текущие прогнозы показывают, что обучение Gaudi3 будет в 1,7 раза быстрее по сравнению с H100 (в 1,4–1,7 раза быстрее в зависимости от используемой модели большого языка). Однако если говорить о скорости вывода, то фактическая производительность будет варьироваться, иногда от проигрыша до 10%, а иногда и выигрыша до 70%. С точки зрения энергоэффективности Gaudi3 в 1,2–2,3 раза более эффективен.
Intel явно стремится догнать и по возможности превзойти NVIDIA, но никаких конкретных цифр по конкуренции с AMD Instinct, не приводит.
Первые образцы Gaudi3 будут предоставлены партнерам в первой половине 2024 года. Однако больших объемов ожидать не стоит раньше второй половины текущего года. В настоящее время независимых тестов нет, поэтому пока приходится полагаться на данные самой Intel.