Открытый инженерный консорциум MLCommons опубликовал новые результаты MLPerf Training v1.0, набора тестов для оценки производительности машинного обучения. MLPerf Training измеряет время, необходимое для обучения ИИ-моделей до заданного уровня качества работы в различных задачах, включая классификацию изображений, обнаружение объектов, NLP, рекомендации и обучение с подкреплением.
В последнем раунде MLPerf получил заявки от 13 организаций и опубликовал более 650 рецензированных результатов для систем машинного обучения, от малых периферийных устройств до мощных серверов. «В этом раунде были представлены новинки программного и аппаратного обеспечения от Dell, Fujitsu, Gigabyte, Google, Graphcore, Habana Labs, Inspur, Intel, Lenovo, Nettrix, NVIDIA, PCL & PKU и Supermicro», — сообщил MLCommons.
Бенчмарки MLPerf постоянно совершенствуются. MLCommons сообщил, что «по сравнению с последним раундом представления лучшие результаты тестов улучшились в 2,1 раза, что свидетельствует о существенном улучшении аппаратного, программного обеспечения и масштаба систем». Последний раунд включал в себя два новых теста — для измерения производительности преобразования речи в текст (Speech-to-Text with RNN-T) и обработки медицинских изображений (3D Medical Imaging with 3D U-Net). Полный набор тестов MLPerf Training включает BERT, DLRM, Mask R-CNN, ResNet-50 v1.5, SSD, RNN-T, 3d-UNet и MiniGO.
Подобно прошлым результатам MLPerf Training, заявки состоят из двух разделов: закрытого и открытого. Закрытые заявки используют одну и ту же эталонную модель, чтобы обеспечить равные условия для всех систем, а в открытом соперничестве разрешено использовать различные модели. Представленные материалы дополнительно классифицируются по доступности: коммерческие системы, предварительные версии и R&D-проекты.
Большая часть представленных систем по-прежнему полагалась на различные графические процессоры NVIDIA. Было протестировано 82 конфигурации в закрытом разделе. NVIDIA, как обычно, сделала подавляющее большинство заявок либо напрямую, либо через OEM-партнеров. На конфигурации на базе NVIDIA пришлось около 70 % заявок.
«Только NVIDIA была представлен во всех восьми тестах и в коммерчески доступной категории, — отметил Пареш Харья, старший директор по управлению продуктами и вычислениям в центрах обработки данных. — Суперкомпьютер NVIDIA Selene на базе DGX SuperPod, установил все восемь рекордов производительности. Мы завершили четыре из восьми тестов менее чем за минуту, а самый сложный тест (MiniGo) занял менее 16 минут».
В свою очередь, Google отметила примерно 1,7-кратное улучшение результатов за год, всё благодаря использованию новых крупномасштабных модулей — до 4096 чипов TPU v4 в каждом. «Используя 3456 чипов TPU v4 в одном TPU v4 Pod, многие модели, которые раньше обучались за дни или недели, теперь обучаются за несколько секунд», — сообщила компания.
В целом, в закрытом разделе по-прежнему доминируют NVIDIA и Intel. Все результаты Intel, если не считать одного вхождения в список Habana Labs, по сути, показывают базовую производительность Xeon Cooper Lake. Ещё четыре результата подала Graphcore, а остальные, то есть Google TPU и Huawei Ascend, относятся к системам, которые пока недоступным коммерчески. Любопытно, что среди тестовых стендов есть те, которые имеют NVIDIA A100 с повышенным до 500 Вт TDP.
В открытом же разделе результатов совсем немного. Но именно им воспользовалась Graphcore, которая в обычных тестах показала не самые лучшие результаты — после оптимизаций производительность заметна выросла. Кроме того, компания упирает на то, что её решения, быть может, не так быстрые в сравнении с NVIDIA, зато они вдвое дешевле и, таким образом, показывают лучшую удельную производительность на доллар.