Современная индустрия серверов и HPC нуждается в универсальном высокоскоростном интерфейсе, и таким интерфейсом должен стать Compute Express Link, базирующийся на возможностях протокола PCI Express 5.0. Мы рассказывали читателям об этой технологии ещё в начале года — тогда речь шла лишь о демонстрационной платформе, но сейчас разработчики аппаратного обеспечения анонсируют первые продукты, использующие CXL.
Как известно, современные вычислительные системы используют для шину PCI Express на коротких дистанциях; на длинных это, как правило, Ethernet или InfiniBand. Но остаётся один участок, который традиционно не охвачен каким-либо унифицированным интерфейсом, и это участок, связывающий процессоры с оперативной памятью. CXL позволяет унифицировать и этот момент, и компания Samsung уже анонсировала первые модули памяти в новом формате.
В эпоху популярности систем машинной аналитики, обучения и вычислений in-memory объёмы DRAM (и PMem) в серверных системах серьёзно выросли, но традиционный подход к расширению оперативной памяти содержит ряд проблем: это и большое количество контактов, и ограниченное число модулей памяти на канал. Производителям приходится искать баланс между скоростью, объёмом и физическими размерами памяти.
Стандарт CXL шире, нежели PCI Express, с его помощью возможна реализация различных топологий, а не только подключений «точка-точка». Причём дезагрегация ресурсов возможно не только в пределах шасси, но и в пределах стойки и далее (при наличии CXL-коммутатора с «оптикой»). Впрочем, главное в данном случае — поддержка протокола CXL.memory, причём с версии 2.0 с полным шифрованием.
В режиме CXL.memory подключённый к шине пул DRAM может объединяться с системным пулом оперативной памяти в единое пространство или делиться между другими устройствами (FPGA). При этом целью может ставиться как увеличение пропускной способности, так и наращивание объёмов до нескольких терабайт и более. Этот режим и реализован Samsung в новых модулях. Внешне они напоминают SSD, но в основе новинки лежит новый стандарт DDR5.
Такой модуль подключается к системе с помощью 16 линий PCIe 5.0, которые имеют суммарную пропускную способность 63 Гбайт/с. Более детальной информации о новых модулях Samsung CXL DDR5 пока мало, но очевидно, что при серьёзных объёмах DRAM такие модули потребуют и достаточно серьёзного охлаждения. Ожидается, что тепловыделение модуля объёмом 2 Тбайт может достигать 70-80 Вт, хотя выбранный форм-фактор (E3.S 2T) предполагает TDP на уровне 40 Вт.
Такой форм-фактор позволит свободно комбинировать DRAM, SCM и SSD в 2U-шасси, что позволит выбрать необходимое для конкретной нагрузки сочетание ёмкости и производительности. Интересно, появятся ли аналогичные DRAM-модули и в формате E1, который актуален для 1U-шасси, edge-систем, а также для высокоплотных HPC-решений.
Согласно официальному заявлению, новые модули успешно прошли квалификационное тестирование на некоей «серверной платформе Intel следующего поколения», однако больше никаких деталей Samsung пока не сообщает. Также известно, что компания сотрудничает и с AMD. О каких платформах идёт речь, сказать сейчас сложно, ведь даже Intel Sapphire Rapids будет поддерживать лишь CXL 1.1.
Отметим, что похожий подход предлагают и CCIX, и Gen-Z. Причём для Gen-Z ещё в 2019 году SMART Modular представила первый DRAM-модуль с DDR4, и тоже в форм-факторе E3. Впрочем, с тех пор CXL и Gen-Z успели «подружиться», да и Synopsys в своих IP-решениях позволяется совмещать CCIX и CXL. Альтернативный подход к наращиванию ёмкости памяти предлагает IBM — DDIMM-модули с интерфейсом OMI (Open Memory Interface).