В среду MLCommons опубликовала результаты тестирования в MLPerf 3.0 Inference графического процессора NVIDIA H100. Как сообщается, NVIDIA использовала оптимизацию программного обеспечения, чтобы улучшить и без того ошеломляющую производительность своего новейшего графического процессора H100 на 54%. Напомню, что графический процессор NVIDIA H100 впервые появился на MLPerf 2.1 еще в сентябре 2022 года. Всего за шесть месяцев инженеры NVIDIA поработали над оптимизацией ИИ для версии MLPerf 3.0 и обнаружили, что базовая оптимизация программного обеспечения может повысить производительности на величину от 7 до 54%. Рабочие нагрузки для измерения скорости включали распознавание речи RNN-T, медицинскую визуализацию 3D U-Net, обнаружение объектов RetinaNet, классификацию объектов ResNet-50, рекомендации DLRM и обработку естественного языка BERT 99/99,9%.
Существуют открытые и закрытые категории тестирования. NVIDIA решила использовать закрытую категорию, оптимизация производительности других поставщиков, таких как Intel и Qualcomm, здесь не учитывается. Тем не менее интересно, что оптимизация может привести к увеличению производительности до 54% в случае NVIDIA с ее графическим процессором H100. Еще один интересный вывод заключается в том, что некоторые сопоставимые аппаратные средства, такие как Qualcomm Cloud AI 100, Intel Xeon Platinum 8480+ и ReccAccel N3000 от NeuChips, не смогли справиться со всеми рабочими нагрузками. На слайдах, сделанных NVIDIA, они отмечены знаком «X», подчеркивая необходимость надлежащей поддержки программного обеспечения машинного обучения, что является сильной стороной NVIDIA и сильным маркетинговым ходом.