Открытый инженерный консорциум MLCommons опубликовал результаты бенчмарка MLPerf Inference v1.0, набора тестов для оценки производительности систем инференса. MLPerf — признанный в отрасли бенчмарк для измерения производительности ИИ в различных задачах, включая компьютерное зрение, медицинскую визуализацию, рекомендательные системы, распознавание речи и обработку естественного языка.
В последний раунд тестирования были поданы заявки от 17 организаций, и было опубликовано 1994 результата по производительности для систем машинного обучения в категории как периферийных устройств, так и серверов центров обработки данных. В пакете MLPerf Inference v1.0 представлены новые методы, инструменты и показатели, дополняющие тесты производительности.
Эти новые показатели позволяют составлять отчёты и сравнивать энергопотребление, производительность и потребляемую мощность систем. Бенчмарк был разработан совместно со Standard Performance Evaluation Corp. (SPEC), ведущим поставщиком стандартизированных тестов и инструментов для оценки производительности современных вычислительных систем. В частности, MLPerf использует инструменты измерения мощности SPEC PTDaemon.
NVIDIA стала единственной компанией, представившей результаты всех тестов в категориях ЦОД и периферийных систем. Помимо собственных результатов NVIDIA, партнёры компании Alibaba, DellEMC, Fujitsu, Gigabyte, HPE, Inspur, Lenovo и Supermicro представили в общей сложности более 360 результатов своих систем на базе ускорителей NVIDIA.
NVIDIA сообщила, что её платформа инференса ИИ, которая недавно пополнилась графическими процессорами NVIDIA A30 и A10 для серверов, показала рекордную производительность во всех категориях. По словам компании, высокие показатели были достигнуты благодаря широким возможностям ИИ-экосистемы NVIDIA, охватывающей широкий спектр графических процессоров и программного обеспечения ИИ, включая TensorRT и NVIDIA Triton Inference Server.
Кроме того, NVIDIA продемонстрировала возможности технологии Multi-Instance GPU архитектуры NVIDIA Ampere, одновременно запустив все семь тестов MLPerf Offline на одном графическом процессоре с использованием семи инстансов MIG, которые показали практически ту же производительность (98%), как и в случае использования единственного инстанса MIG.
