SPEC CPU 2026 включает больше тестов и акцент на переносимости: он работает на всем — от парков серверов до Raspberry Pi. — tomshardware.com
Спустя почти десять лет корпорация Standard Performance Evaluation Corporation, или SPEC, выпускает новую версию своего широко известного бенчмарка SPEC CPU. SPEC CPU 2026, как вы, вероятно, и ожидали, модернизирует рабочие нагрузки, включенные в набор, и добавляет еще больше бенчмарков, более чем вдвое увеличивая кодовую базу SPEC CPU 2017. Однако, что критически важно, этот набор также был разработан с учетом переносимости и может работать на всем: от Raspberry Pi и ноутбука с Windows-на-ARM до целых парков серверов, для которых он предназначен.
Для энтузиастов часто упоминаются два бенчмарка SPEC: SPECviewperf для оценки производительности графики и SPEC Workstation, последний из которых мы используем в наших обзорах ЦП. SPEC CPU фокусируется на центральном процессоре, но это набор, ориентированный скорее на серверы, чем на лучшие процессоры для игр.
Обновленный набор включает 52 теста, на девять больше, чем было в SPEC CPU 2017, с более чем вдвое большим количеством строк кода. Это большая часть того, чем занимается SPEC. Набор использует реальные приложения, но эти приложения модифицируются различными способами, чтобы соответствовать требованиям бенчмарка. Одним из основных направлений, согласно техническому документу SPEC, является обеспечение детерминированных результатов для каждого приложения, что означает устранение источников недетерминированности. В качестве примера в техническом документе описывается замена функции std::sort в C++ на std::stable_sort.
«Основная цель состоит в том, чтобы гарантировать, что бенчмарк выполняет идентичный объем работы в пользовательском пространстве в любой совместимой системе и дает идентичный результат при каждом запуске в пределах заданной погрешности. Для достижения такого уровня строгости каждый кандидат в бенчмарки проходит серию модификаций», — говорится в техническом документе.
Помимо устранения недетерминированности, SPEC модифицирует приложения для обеспечения переносимости, гарантируя, что все написано на C, C++ или Fortran, и фокусируется на выполнении в пользовательском пространстве. Согласно документу, целью SPEC было, чтобы не менее 95% времени выполнения приходилось на код бенчмарка в пользовательском пространстве, минимизируя влияние операционной системы.
SPEC потратила чуть более трех лет (с февраля 2020 по март 2023 года) на сбор кандидатов для нового набора. Было отобрано 70 кандидатских приложений, из которых 38 прошли через комитет SPEC CPU. Опять же, детерминированность сыграла решающую роль при выборе приложений, поскольку комитет старался избегать «незначительных архитектурных или компиляторных различий [которые] могут привести к «коротким путям» к решению». В техническом документе уточняется, что есть несколько конкретных приложений, которые прошли глубокую оценку, но в итоге не были включены.
Ключевыми среди них были современные рабочие нагрузки ИИ, такие как llama.cpp и whisper.cpp. В техническом документе говорится, что «ограничение их переносимыми путями кода C++ (с удаленными интринсиками) привело к фундаментальному расхождению с их реальным поведением», что в конечном итоге дисквалифицировало их. SPEC также избегала кодеков AV1 и Opus, чтобы избежать любых обвинений в предвзятости, учитывая, что в комитет SPEC входят представители Intel, AMD, IBM, Arm, Nvidia, Dell, HPE, Ampere и другие.
Вот общий обзор того, как работает SPEC CPU. Полный набор тестов оценивает четыре метрики: скорость целочисленных операций, пропускную способность целочисленных операций, скорость операций с плавающей запятой и пропускную способность операций с плавающей запятой. Две метрики скорости в совокупности дают SPECspeed, в то время как две метрики пропускной способности дают SPECrate. SPECspeed, вероятно, наиболее знаком читателям Tom’s Hardware. Он оценивает одно приложение, работающее на одной системе, и предоставляет этому приложению все доступные ресурсы. SPECrate, с другой стороны, больше ориентирован на серверы, измеряя общую пропускную способность при одновременном запуске нескольких копий одного и того же приложения.
Каждый набор имеет свой собственный список бенчмарков, но некоторые приложения повторно используются в разных наборах — например, тесты компиляции GCC и LLVM доступны как в наборах SPECrate, так и в SPECspeed Integer. При выборе места размещения бенчмарков SPEC сегментирует приложения с более чем 10% инструкций с плавающей запятой в категорию FP. Некоторые приложения попали в так называемую «серую зону» с 1% до 10% инструкций с плавающей запятой, и SPEC категоризировала их на индивидуальной основе в зависимости от «основного вычислительного назначения приложения и его устоявшейся репутации в сообществе пользователей».
У SPEC есть десятки первоначальных результатов для SPEC CPU 2026, предоставленных различными брендами, включая AMD, Intel, Dell, Lenovo, Supermicro, HPE и даже некоторыми участниками SPEC. Понятно, что большинство результатов относятся к серверам, и мы не можем охватить их все здесь. Однако, если вам интересно, вы можете просмотреть полные результаты непосредственно на сайте SPEC, а мы выделим несколько интересных систем.
Прежде чем перейти к результатам, SPEC использует собственный балл для оценки каждой системы, с указанием базовых или пиковых (или обоих) значений для каждого набора. Итоговый балл представляет собой геометрическое среднее соотношений для каждого теста, которое SPEC рассчитывает, деля время, необходимое для выполнения рабочей нагрузки на эталонной системе, на время, необходимое для выполнения рабочей нагрузки на тестируемой системе.
Начиная с выборки результатов пропускной способности операций с плавающей запятой, среди серверных решений присутствует несколько потребительских устройств, включая Raspberry Pi, Nvidia DGX Spark и даже мини-ПК от Minisforum. Самым производительным здесь является HPE ProLiant Compute DL580 Gen12, оснащенный четырьмя процессорами Intel Xeon 6788P, что дает системе в общей сложности 688 потоков.
Переходя к результатам скорости для набора операций с плавающей запятой, потребительские системы здесь исчезают. Самый низкий результат здесь показал Ampere eMAG 8180, а самый высокий — Dell PowerEdge M7725 с двумя 96-ядерными чипами AMD EPYC 9755. Результаты скорости оценивают одну систему, выполняющую одно приложение, поэтому мы заменили столбец «копии» на «потоки».
Переходя к целочисленным результатам, снова появляется множество потребительских систем, а также MacBook Pro 16 с M5 Pro, который показывает удивительно хорошие результаты, учитывая аппаратное обеспечение. На вершине рейтинга находится Dell PowerEdge M7725 с двумя процессорами AMD EPYC 9965, что дает системе в общей сложности 768 потоков. Стоит отметить, что в большинстве результатов используется проприетарный компилятор поставщика, а не компилятор с открытым исходным кодом, поэтому вы можете увидеть разные результаты на схожем оборудовании. SPEC CPU 2026 поставляется в виде исходного кода, и при публикации результатов необходимо указать используемый компилятор.
Наконец, вот образец целочисленных результатов, измеряющих скорость одной системы. Здесь пропускная способность не является приоритетом, поэтому вы видите, что некоторые системы показывают снижение производительности при увеличении количества чипов (и, следовательно, потоков), например, ProLiant Compute DL580 от HPE. На вершине рейтинга находится сервер от Supermicro, Hyper A+ Server AS -2126HS-TN, оснащенный двумя процессорами AMD EPYC 9755, что дает в общей сложности 512 потоков.
После выпуска SPEC CPU 2026 наступит период охлаждения, прежде чем компании смогут публиковать больше результатов. Больше результатов мы увидим 4 июня 2026 года. 11 августа SPEC потребует, чтобы результаты SPEC CPU 2017 сопровождались результатами 2026 года, а 3 ноября SPEC полностью прекратит поддержку CPU 2017.
До 3 ноября пользователи с лицензией SPEC CPU 2017 могут обновить ее до нового набора за 2000 долларов. Новая лицензия стоит 3000 долларов. Некоммерческие организации могут приобрести набор со скидкой за 750 долларов, а некоторые академические учреждения могут получить лицензию бесплатно.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Jake Roach