Компания NVIDIA представила новый ускоритель вычислений H200, который является самым мощным в мире. Он основан на архитектуре NVIDIA Hopper и является улучшенной версией флагманского ускорителя H100 с использованием более быстрой памяти HBM3e. Память H200 отличается от обычной HBM3 большей скоростью и включает 141 ГБ памяти со скоростью 4,8 ТБ/с. Это практически вдвое больше по объему и в 2,4 раза больше по пропускной способности, чем память в ускорителе предыдущего поколения NVIDIA A100.
H200 обеспечивает значительный прирост производительности для работы уже обученных систем искусственного интеллекта. Он способен ускорить работу моделей Llama 2 и GPT-3 на 1,9 и 1,6 раза соответственно. Ускоритель будет доступен в серверных платах NVIDIA HGX H200 и совместим с аппаратным и программным обеспечением систем HGX H100.
Большинство ведущих производителей серверов выпустят свои системы с ускорителями H200. Кроме того, облачные провайдеры, такие как Amazon Web Services, Google Cloud, Microsoft Azure и Oracle Cloud Infrastructure, предложат инстансы с использованием ускорителя H200.
В паре с Arm-процессорами NVIDIA Grace, H200 образует суперчип GH200 Grace Hopper с использованием памяти HBM3e, предназначенный для приложений высокопроизводительных вычислений (HPC) и искусственного интеллекта большого масштаба.
Компания также представила плату Quad GH200 с четырьмя суперчипами GH200, который обеспечивает общую память в 2 ТБ и производительность 16 Пфлопс в FP8. Ожидается, что до конца года системы с ускорителями GH200 смогут достигнуть общей производительности в 200 Эфлопс в области искусственного интеллекта.
