Конференция GTC Developer 2023 года включала 650 докладов лидеров в области разработки ИИ. Один из самых интересных из них был доклад Дженсена Хуанга из NVIDIA. В программной речи Хуанг рассказал о том как компания и ее партнеры предлагают все, от обучения до развертывания передовых услуг. За все это отвечает новый NVIDIA H100. Новый графический процессор основан на архитектуре NVIDIA Hopper и имеет дизайн Transformer Engine.
"Следующий уровень генеративного ИИ требует новой инфраструктуры ИИ для обучения больших языковых моделей с высокой энергоэффективностью. Клиенты масштабируют Hopper строя инфраструктуру ИИ с десятками тысяч графических процессоров подключенных через NVIDIA NVLink и InfinBand", - отметил Хуанг в отчете.
Пример повышения производительности можно увидеть когда "графические процессоры NVIDIA H100 с тензорными ядрами работающие в системах DGX H100 продемонстрировали прирост в каждом тесте вывода ИИ работая с нейронными сетями в производственной среде". Это в значительной степени связано с оптимизацией программного обеспечения которая подтолкнула графические процессоры к увеличению производительности до 54% по сравнению с той, что была в сентябре прошлого года.
Графические процессоры L4 с тензорными ядрами также демонстрируют трехкратное увеличение производительности по сравнению с оборудованием предыдущего поколения.
Десять компаний представили результаты на платформе NVIDIA во время этого раунда тестирования MLPerf. Среди них были облачный сервис Microsoft Azure и производители систем включая ASUS, Dell Technologies, Gigabyte, H3C, Lenovo, Nettrix, Supermicro и xFusion.