Nvidia представила новые супермощные чипсеты для задач AI — Blackwell B200 GPU и GB200.
B200 GPU обещает до 20 петафлопс производительности в FP4 и 208 миллиардов транзисторов.
— В одном B200 будет 192GB памяти с пропускной способностью 8 ТБ/с.
— GB200 объединяет в себе ДВА таких B200 GPU с одним Grace CPU (на ARM архитектуре). Nvidia заявляет, что это в 30 раз производительнее для инференса в LLM в FP4 по сравнению с H100.
— Ключевая фишка - второе поколение трансформерного движка, который удваивает вычислительную мощность, пропускную способность и размер модели.
— Nvidia утверждает, что GB200 снижает стоимость и энергопотребление в 25 раз по сравнению с H100 (опять же, в FP4).
— Теперь будет поддерживаться и новый формат - FP6, золотая середина по скорости и точности между FP4 и FP8.
— FP64 на уровне 45 терафлопс на GPU (против 60 у H100).
— Тренировка GPT-MoE с 1.8 триллиона параметров (соответствует GPT-4) требовала 90 дней на 8000 GH100 и 15МВт энергии. Теперь достаточно 2,000 GB200 и 4МВт. То есть во время тренировки 1x GB200 примерно в 4 раза быстрее чем 1x H100.
— На инференсе GPT-3 с 175 млрд параметров, GB200 в СЕМЬ раз быстрее H100.
Nvidia уже рассказала о ценах, и они тоже очень впечатляют. H100 стоит около $40k, GB200 будет минимум в 4-5 раз дороже.
На потребительском рынке Blackwell можно не ждать до 2025. Первыми их получат Amazon, Google, Microsoft и Oracle. Amazon уже планирует кластер на 20,000 GB200.
1 минута
21 марта 2024