В мае Nvidia представила свой «суперчип» Grace Hopper GH200 на выставке Computex. Ускоритель получил центральный и графический процессор и получил прозвище «супер», поскольку объединил в одном корпусе лучший серверный процессор компании на базе архитектуры Arm и флагманский серверный графический процессор H100. Всего два месяца спустя компания объявила об обновлении памяти графического процессора Hopper, перейдя с HBM3 на более новую HBM3e, которая работает в два раза быстрее. Проведенное усовершенствование теоретически позволит втрое увеличить пропускную способность памяти чипа и в 3,5 раза увеличить ее объем.
Модернизированная версия Grace Hopper была представлена во вторник генеральным директором Nvidia Дженсеном Хуангом на выставке Siggraph, что несколько удивило участников, учитывая тот факт, что Grace Hopper был выпущен совсем недавно. Хуанг сказал, что новый чип имеет 282 ГБ памяти HBM3e по сравнению с 96 ГБ памяти HBM3 в старой версии. Это позволяет увеличить пропускную способность памяти до 5 ТБ/с на одном чипе или до 10 ТБ/с в двухчиповой системе. Центральный процессор Grace имеет 72 ядра Arm Neoverse V2 и до 480 ГБайт памяти LPDDR5, к которой также может обращаться графический процессор.
Grace Hopper спроектирован так, чтобы его можно было легко объединять с похожими устройствами: две платы, подключенные по NVLink, являются базовым узлом со 144 ядрами Arm Neoverse и пропускной способностью памяти до 10 ТБ/с. Во время презентации Хуанг показал два чипа Grace Hopper, которые устанавливаются в серверный лоток, а еще семь укладываются поверх него, обеспечивая 4,6 ТБ/с памяти. Затем эта система была удвоена и превращена в вертикальную вычислительную стойку DGX GH200 с 16 лотками Grace Hopper. На этом он не остановился и расширил систему с помощью DGX «SuperPod» шириной в 32 стека и 256 подключенными видеокартами, обеспечивающими вычислительную производительность в 1 экзафлоп и предлагающими 144 ТБ памяти графического процессора. Nvidia называет его «суперкомпьютером Grace AI», и Хуанг пошутил, что теперь его мощности, вероятно, достаточно для запуска Crysis.
Профессиональная видеокарта H100 и "суперчип" Grace Hopper обмениваются данными со скоростью 900 ГБ/с в секунду в обоих направлениях.
Генеральный директор охарактеризовал установку размером с комнату как «самая большая в мире видеокарта» благодаря когерентным связям и заявил, что в будущем она будет использоваться для обучения больших языковых моделей. Учитывая невероятно высокий спрос на свои графические процессоры H100, будет интересно посмотреть, как Nvidia отдает приоритет их использованию либо в качестве автономных графических процессоров, либо в комплекте с Grace для этого «суперчипа». Хуанг заявил, что начнет демонстрацию этой новой версии Grace Hopper своим партнерам в конце 2023 года и сделает ее общедоступной ко второму кварталу 2024 года.
