В этом году, по оценкам TrendForce, восемь крупнейших мировых облачных провайдеров — Google, Amazon, M**a, Microsoft, Oracle, Tencent, Alibaba и Baidu — направят более $710 млрд на капитальные затраты, что примерно на 61 % больше, чем в прошлом году и превышает валовой внутренний продукт (ВВП) Ирландии за прошлый год. Около $650 млрд из этой суммы приходится на первых четверых гиперскейлеров из этого списка, пишет The Register.
Эти средства будут потрачены на строительство и расширение ЦОД, а также оборудование для них, включая высокопроизводительные серверы, обычно оснащённые ускорителями AMD или NVIDIA. Также набирают популярность ASIC других брендов, которые в отличие от универсальных ускорителей разрабатываются для конкретных видов нагрузки.
По данным TrendForce, Google остаётся единственной облачной компанией, которая добавляет больше серверов на базе ASIC, чем на базе GPU. По оценкам аналитиков консалтинговй компании, процессоры Tensor Processing Units (TPU) будут использоваться примерно в 78 % ИИ-серверов для дата-центров Google в этом году.
Ожидается, что у Amazon 60 % серверов будут оснащены GPU, и компания начнёт наращивать системы на базе Trainium3 позже в этом году. Компания M**a также будет в основном полагаться на ускорители NVIDIA и AMD, которыми будут оснащены более 80 % серверов, установленных в этом году. Microsoft продолжит закупать стоечные системы NVIDIA, а Oracle расширяет развёртывание стоечных серверов с GPU. Из китайских операторов Tencent также продолжит развёртывать серверы с ускорителями NVIDIA, пусть и опосредованно.
The Register отметил, что высокий спрос на ИИ-серверы привёл к росту цен на память и её дефициту, поскольку производители переводят производственные линии на выпуск высокорентабельных решений, таких как память HBM. Производители микросхем памяти SK Hynix и Sandisk объявили о работе над процессом стандартизации HBF-памяти для ИИ-инференса. SK hynix описывает HBF как новый уровень памяти между сверхбыстрой HBM и высокоёмкими SSD, утверждая, что она снизит совокупную стоимость владения (TCO), одновременно повышая масштабируемость ИИ-систем. Согласно прогнозу компании, спрос на такие решения, как HBF, возрастёт примерно к 2030 году.