На конференции Hot Chips 2024 компания Nvidia представила подробности о своей новой архитектуре графического процессора Blackwell, которая обещает изменить подход к вычислениям и искусственному интеллекту. Директор по архитектуре Nvidia Аджай Тирумала и его коллега Рэймонд Вонг рассказали о том, как Blackwell интегрирует новейшие технологии для достижения максимальной производительности и энергоэффективности.
Архитектура Blackwell включает в себя множество компонентов, таких как графический процессор Blackwell, процессор Grace, блок обработки данных BlueField и сетевые карты ConnectX. Это решение охватывает все аспекты вычислений, включая взаимодействие между чипами и стойками, что делает его идеальным для различных сценариев использования. Blackwell предлагает выдающуюся пропускную способность памяти и межсоединений, что особенно важно для задач, связанных с искусственным интеллектом. Пропускная способность достигает 10 ТБ/с благодаря интерфейсу NV-HBI, обеспечивая невероятную скорость передачи данных между чипами.
Кроме того, Nvidia представила новые форматы вычислений с точностью FP4 и FP6, что позволяет значительно повысить производительность за счет снижения точности в определенных задачах. Используя систему квантования Quasar, компания может оптимизировать вычисления, что снижает нагрузку на память и ускоряет процесс обработки данных. Чипы NVLink также были обновлены для передачи больших объемов данных с меньшими затратами энергии, что делает их более эффективными.
Важным аспектом архитектуры Blackwell является ее способность обрабатывать сложные модели искусственного интеллекта. Nvidia утверждает, что эта платформа может поддерживать модели с триллионом параметров, что делает её идеальной для применения в реальном времени. Например, новая система GB200 NVL72, которая включает в себя 36 графических процессоров Grace и 72 Blackwell, может увеличивать производительность вывода моделей языка до 30 раз. Это позволяет запускать сложные модели ИИ в реальном времени, что открывает новые горизонты для разработчиков и исследователей.
По мере увеличения сложности моделей ИИ, Nvidia осознает необходимость разделения рабочих нагрузок между несколькими графическими процессорами. Blackwell, обладая высокой мощностью, может обрабатывать экспертные модели на одном чипе, что значительно упрощает архитектуру решений для ИИ. Генеральный директор Nvidia Дженсен Хуанг отметил, что Blackwell — это не просто новый графический процессор, а целая платформа, которая изменит правила игры в индустрии.
Nvidia также представила планы по развитию своих продуктов на ближайшие годы, включая 1.6T ConnectX-9, что указывает на необходимость перехода на PCIe Gen7. Это связано с тем, что существующие технологии не могут справиться с возросшими требованиями к пропускной способности. Архитектура Blackwell, названная в честь известного математика Дэвида Блэквелла, представляет собой не только графический процессор, но и комплексное решение для генеративного ИИ.
Среди шести революционных технологий, представленных Nvidia, стоит выделить графический процессор с 208 миллиардами транзисторов, что обеспечивает выдающуюся вычислительную мощность. Чипы изготовлены по 4-нанометровой технологии TSMC, что снижает энергопотребление и выделение тепла, а также увеличивает плотность интеграции. Объем видеопамяти HBM3E составляет 192 ГБ, что значительно улучшает обработку данных.
Кроме того, Nvidia внедряет новый движок Transformer второго поколения, который сочетает в себе передовые алгоритмы и технологии Blackwell Tensor Core. Это позволяет удвоить вычислительные возможности и улучшить производительность. Применение NVLink пятого поколения обеспечивает двунаправленную пропускную способность до 1,8 ТБ/с, что критически важно для работы с большими языковыми моделями.
Однако не обошлось и без проблем. Недавно стало известно, что запуск Blackwell был отложен из-за конструктивных недостатков, выявленных при подготовке к серийному производству. Это может затронуть крупных клиентов, таких как Meta, Google и Microsoft, так как массовое производство чипов планировалось начать в третьем квартале 2024 года. Теперь Nvidia ожидает, что поставки начнутся только в первом квартале 2025 года.
