Ноябрьский рейтинг суперкомпьютеров TOP500 оказался ещё более скудным на новинки в сравнении с летним. Тогда в списке появилось менее сотни новых машин, сейчас — всего 44. Составители списка вновь вынуждены констатировать, что это новый антирекорд с момента выхода первого рейтинга в 1993 году. Однако перспективы не так плохи — до 2026 года мы должны увидеть от 28 до 38 систем мощностью от 1 Эфлопс, на создание которых уйдёт $10-15 млрд.
Лидером же нынешнего TOP4500 остаётся Fugaku, который с лета немного «нарастил мускулы» благодаря доукомплектации новыми узлами и, что не менее важно, за счёт программных оптимизаций. Теперь у него 7,3 млн ядер, которые выдают на-гора 442 Пфлопс реальной производительности. И он всё ещё практически в три раза быстрее второго места в списке, суперкомпьютера Summit. В более современном и комплексном бенчмарке HPCG разрыв между ними ещё заметнее: 16 Пфлопс против 2,93 Пфлопс. А в специализированном HPL-AI и вовсе разгромный — 2 Эфлопс против 0,55 Эфлопс.
Однако и «цена» за такую производительность немаленькая — почти 30 МВт! По показателю Гфлопс/Вт Fugaku чуть лучше того же Summit, а в Green500 он опустился на 10 место. И вот, что интересно — в первой десятке сейчас сплошь системы на базе AMD EPYC 7002 с NVIDIA A100 (верхняя часть списка) и IBM POWER или Intel Xeon с NVIDIA V100 (нижняя), если не учитывать специализированную машину Preferred Networks MN-3. Да и в целом по TOP500 более четверти машин (136) используют ускорители NVIDIA или в редких случаях другие акселераторы. Новых MI100 пока в списке нет.
Зато AMD, процессорами EPYC которой теперь оснащена 21 машина (19 из них Rome), теперь представлена в 12 из 44 новых участников списка. Из них 9 — с 64-ядерными CPU. И это очень сильно контрастирует с наиболее массовыми конфигурациями от 16 до 24 ядер на сокет, которые суммарно занимают почти 60% списка. Что любопытно, среди этих 21 машин шесть имеют ускорители NVIDIA A100, причём одна половина в составе DGX A100 и с 64-ядерными CPU, а вторая — с 24-ядерными. Ещё 14 машин не имеют никаких ускорителей, и 11 из них тоже базируются на 64-ядерных EPYC.
Так что можно аккуратно сказать, что решения AMD интересны и в качестве основы для систем с ускорителями (и тут необязательно использовать старшие SKU), и в составе CPU-only машин. Тем не менее, 90% нынешнего списка остаётся за Intel. Половина новых участников списка всё так же используют Intel Xeon Cascade Lake, а остальные — либо более старые поколения Intel, либо более экзотичные архитектуры. Ладно, A64FX уже не такой экзотичный, а вот пара машин с NEC SX-Aurora Vector Engine Type10AE в качестве основных процессоров на фоне остальных выделяется.
Загадывать наперёд смысла нет, но всё же интересно, что будет дальше делать IBM после реструктуризации, и особенно интересно — что сделает NVIDIA с Arm. Fujitsu A64FX, который лежит в основе Fugaku, всё же довольно нетипичный чип во всех отношениях, а Marvell, только-только получив новые процессоры ThunderX3, похоже, отказывается от серверных CPU. Из альтернатив, готовых составить компанию A100 прямо сейчас, остаётся, по-видимому, только Arm-платформы Ampere. Для A100 же от нынешних EPYC нужны, пожалуй, именно линии PCIe 4.0, которые требуются и самим акселераторам, и сетевым адаптерам, чтобы упростить масштабирование кластера. И вот с интерконнектом и вообще с сетями у NVIDIA после покупки Mellanox всё неплохо.
Особенно интересны в этом контексте DPU, которые потенциально могут значительно снизить потребность в обычных CPU, но насколько это будет применимо именно в HPC, ещё вопрос. Да, половина списка TOP500 опирается на Ethernet, однако совокупная мощность всех систем с InfiniBand составляет 40% от суммарной мощности всех суперкомпьютеров списка. Ещё столько же приходится на проприетарные и кастомные интерконнекты вкупе с Omni-Path (есть даже одна машина с OPA от Cornelis Networks). Следующий шаг NVIDIA уже объявлен — адаптеры, DPU и коммутаторы следующего поколения NDR InfiniBand с базовой скоростью 400 Гбит/с появятся в ближайшие пару лет. Правда, со стороны хоста им опять понадобится или много линий PCIe 4.0, или вовсе PCIe 5.0.
Прямо сейчас такой порядок скоростей на узел есть только у Fugaku. Любопытно, что из всех известных на данный момент проектов экзафлопсных машин, по данным Hyperion Research, только для одной китайской в планах явно указывается использование 400G-интерконнекта «домашней выделки». Причём эта система NUDT Tiahne-3 будет полагаться на некий Arm-чип (вероятно, развитие Phytium), но с учётом последних событий — санкций на современные техпроцессы и неразбериху в китайском офисе Arm — пока не очень понятно, как это всё будет реализовано и когда. Всего у Китая есть три проекта машин экзафлопсного класса.
Евросоюз тоже рассчитывает получить три таких машины в 2022-2023 году, и одна из них будет базироваться на Arm-процессорах собственной разработки SiPearl Rhea. А пока в рамках проекта EuroHPC, который испытывал проблемы с финансированием, будут построены сразу несколько суперкомпьютеров в разных регионах, включая весьма мощные. Великобритания, покинувшая проект в связи с Brexit’ом, по оценкам, будет вынуждена выложить от 0,7 до 1,2 млн фунтов, чтобы получить на рубеже 2022-2023 г.г. собственный экзафлопсный компьютер.
Наконец, в США пока разрабатываются три главных экзафлопсных системы: Aurora, Frontier и El Capitan. Первая из-за пересмотра проекта и ряда проблем Intel задержится примерно на год, так что вторая в конце 2021 года станет первой такой системой в США. В её основу лягут AMD EPYC на базе Zen3, которые должны показать в начале следующего года, и ускорители на базе архитектуры AMD CDNA. Из особенностей отмечается высокая плотность — 300 кВт на стойку, что требует СЖО — и суммарное потребление на уровне 40 МВт. Примерно того же стоит ждать и от суперкомпьютера El Capitan, который будет основан на следующем поколении CPU и GPU AMD и заработает в 2023 году.
Есть и ещё одна система с производительностью около 1 Эфлопс, которая будет поэтапно введена в строй в 2020-2021 г.г. — это Perlmutter на базе AMD EPYC Zen3 и ускорителей NVIDIA. Интересно, вся эта «фантастическая четвёрка» будет базироваться на платформе HPE Cray EX. Последовательная покупка SGI и Cray резко укрепила позиции HPE на рынке суперкомпьютеров. По итогам 2019 года, согласно данным Hyperion Research, она занимает более 37% рынка HPC-серверов. На втором месте Dell с долей 22%, а все прочие игроки занимают менее 7% каждый.
При этом совокупный среднегодовой темп роста до 2024 года именно этого сегмента будет не так велик — 6,8% вместо ранее предсказанных 8,7%. Наибольший прирост придётся на большие во всех смыслах машины, включая экзафлопсные. Быстрее всего будет расти сегмент СХД — 8,3%. Тут в лидерах как раз Dell и IBM, а HPE и DDN на третьем и четвёртом местах соответственно. Хуже всего придётся нижнему сегменту HPC-серверов начального уровня (до $100 тыс.) — после кризиса 2008 года она так и не восстановился, а сейчас скорее пойдёт в облака.
Да и вообще HPC в облаках будет расти более чем в 2,5 раза быстрее, чем в on-premise — CAGR до 2024 года составит 17,6% против 6,7%. Впрочем, разница в объёмах рынках всё равно будет составлять более 4,3 раз в пользу on-premise. Тем не менее, облака добавят $8,8 млрд к общему объёму рынка HPC, который вырастет до более чем $47 млрд. Следует учитывать, что всё это пока что предварительные прогнозы, которые теперь будут обновляться гораздо чаще. Пандемия COVID-19, как теперь стало понятно, заметно повлияла на рынок HPC.
Общие выводы Hyperion Research, в целом, совпадают с данными доклада Intersect360, о котором мы уже писали ранее — многие проекты отложены или заморожены, и не все из них будут реализованы даже после снижения влияния пандемии на мировую экономику. Во всех случаях основным препятствием для закупок, как и прежде, останется стоимость систем. Но для on-premise также будут важны затраты на питание и охлаждение и ограничения по площади. А основными критериями при выборе новых систем помимо очевидного соотношения цена/производительность также станут безопасность, скорость работы CPU и способность работы с ИИ и Big Data.
