Недавно NVIDIA провела свои первые тесты производительности в рамках набора тестов MLPerf Inference v3.1, который охватывает широкий спектр стандартных отраслевых тестов для сценариев использования ИИ. Эти рабочие нагрузки включают в себя работу с рекомендациям, естественными языками, большими языковыми моделями, распознавание речи, классификацию изображений, медицинскую визуализацию и обнаружение объектов.
Два новых набора тестов включают DLRM-DCNv2 и GPT-J 6B. Первый — это более крупное представление реальных рекомендаций в виде нескольких горячих наборов данных, которые используют новый межуровневый алгоритм для предоставления более качественных рекомендаций, и имеет вдвое большее количество параметров по сравнению с предыдущей версией. GPT-J, с другой стороны, представляет собой небольшой LLM с базовой моделью с открытым исходным кодом, выпущенной в 2021 году. Эта рабочая нагрузка предназначена для задач обобщения.
NVIDIA также демонстрирует концептуальный конвейер рабочих нагрузок приложения, который использует ряд моделей искусственного интеллекта для выполнения требуемого запроса или задачи. Все модели будут доступны на платформе NGC.
Что касается тестов производительности, NVIDIA H100 тестировалась по всему набору выводов MLPerf v3.1 (офлайн) против конкурентов от Intel (HabanaLabs), Qualcomm (Cloud AI 100) и Google (TPUv5e). NVIDIA продемонстрировала лидерскую производительность во всех рабочих нагрузках.
Чтобы сделать ситуацию немного интереснее, компания заявляет, что эти контрольные показатели были достигнуты около месяца назад, поскольку MLPerf требует не менее 1 месяца между отправкой результатов для публикации окончательных результатов. С тех пор NVIDIA разработала новую технологию, известную как TensorRT-LLM, которая еще больше повышает производительность до 8 раз. Можно ожидать, что NVIDIA вскоре также представит тесты MLPerf с TensorRT-LLM.
NVIDIA GH200 Grace Hopper также впервые выполнил тесты на MLPerf, показав на 17% более высокую производительность по сравнению с графическим процессором H100. Такой прирост обусловлен главным образом увеличением емкости видеопамяти 96 ГБ HBM3 по сравнению с 80 ГБ HBM3 и пропускной способностью 4 ТБ/с.
Графический процессор Hopper GH200 использует ту же конфигурацию ядер, что и H100, но одной из его ключевых особенностей, способствующей повышению производительности, является возможность переключения питания между процессором Grace и графическим процессором Hopper. Поскольку платформа Superchip обеспечивает подачу питания как для ЦП, так и для графического процессора на одной плате, клиенты могут переключать питание с ЦП на графический процессор и наоборот в любой конкретной рабочей нагрузке. Этот дополнительный ресурс графического процессора может повысить тактовую частоту чипа и ускорить его работу. NVIDIA также упомянула, что здесь Superchip работает в конфигурации мощностью 1000 Вт.
Графический процессор NVIDIA L4, основанный на архитектуре Ада Лавлейс, также был протестирован в MLPerf v3.1. Он не только смог выполнять все рабочие нагрузки, но и сделал это наиболее эффективно, работая до 6 раз быстрее, чем современные процессоры x86 (Intel 8380 Dual-Socket) с TDP 72 Вт в форм-факторе FHFL. Графический процессор L4 также обеспечил 120-кратное увеличение производительности в задачах видео/ИИ, таких как декодирование, вывод и кодирование. Наконец, NVIDIA Jetson Orion получил прирост производительности до 84% благодаря обновлениям программного обеспечения и демонстрирует стремление NVIDIA улучшить программный стек до следующего уровня.
