Источник изображения: AMD
Как сообщает TechSpot, AMD выпустила первые официальные данные о производительности своего нового ускорителя Instinct MI300X, предназначенного для работы с искусственным интеллектом в центрах обработки данных. Результаты тестов, проведенных с использованием MLPerf Inference v4.1 — стандартного инструмента для оценки производительности ИИ-систем, — показали, что MI300X уступает по скорости своему главному конкуренту, Nvidia H100, в большинстве сценариев.
В тестах с использованием большой языковой модели LLaMA2-70B система из восьми ускорителей MI300X в паре с процессором AMD EPYC Genoa достигла скорости обработки 21 028 токенов в секунду в серверном режиме и 23 514 токенов в секунду в автономном режиме. Это незначительно ниже, чем у системы из восьми Nvidia H100 с неуточненным процессором Intel Xeon, которая показала 21 605 и 24 525 токенов в секунду соответственно.
При использовании процессора AMD EPYC Turin MI300X показал себя немного лучше, достигнув 22 021 токена в секунду в серверном режиме, что немного превышает результат H100. Однако в автономном режиме MI300X все еще отставал, обработав 24 110 токенов в секунду.
Несмотря на отставание в производительности, оказалось, что MI300X обладает преимуществом в объеме памяти. Каждый ускоритель MI300X оснащен 192 ГБ памяти HBM3 с пропускной способностью 5,3 ТБ/с, в то время как H100 поддерживает до 80 ГБ HMB3 с пропускной способностью до 3,35 ТБ/с. Это потенциально позволяет MI300X запускать модели с 70 млрд параметров, такие как LLaMA2-70B, на одном GPU, избегая сетевых задержек, связанных с разделением модели между несколькими GPU.
Результаты тестов подтверждают недавние заявления Intel о том, что их чипы Blackwell и Hopper значительно превосходят по производительности конкурирующие решения, включая AMD Instinct MI300X. Nvidia также предоставила данные, согласно которым система с восемью MI300X достигла скорости обработки 23 515 токенов в секунду при потреблении 750 Вт в автономном режиме, в то время как H100 достиг 24 525 токенов в секунду при 700 Вт. Аналогичная ситуация наблюдается и в серверном режиме: MI300X обрабатывает 21 028 токенов в секунду, а H100 – 21 606 токенов в секунду при меньшем энергопотреблении.