300+ ГБ/с в 2U — это не самое интересное. Интереснее другое: почему в нашей конфигурации производительность не разваливается там, где обычно в подсистеме хранения начинаются компромиссы — на PCIe, NUMA, сети и подаче данных в GPU.
Ответ кроется в сервере Dell PowerEdge R7725xd и его NVMe-подсистемы на PCIe Gen5.
Есть два типа серверов: одни постепенно улучшают привычные решения, другие — поднимают планку так, что приходится пересматривать сам подход к инфраструктуре.
Dell PowerEdge R7725xd — как раз второй случай.
В конфигурации с 24 NVMe Gen5 накопителями и сетью 2×200 Гбит/с он показывает:
- 300+ ГБ/с внутри сервера;
- около 160 ГБ/с по RDMA;
- и все это в формате 2U без усложнения схемы.
Это уровень, который раньше требовал распределенных систем хранения, сейчас достигается в 2U-стеке.
В этой статье мы разберем:
- как устроена архитектура NVMe без PCIe-коммутаторов;
- за счет чего достигается линейное масштабирование производительности;
- какие результаты показывает система в реальных тестах (FIO, RDMA, GDS);
- как ведет себя платформа под смешанными нагрузками;
- почему такие конфигурации критичны для ИИ, аналитики и 1С.
Почему GPU простаивают: узкое место теперь в подсистеме хранения
GPU можно масштабировать.
CPU можно масштабировать.
А вот с данными все сложнее.
Типичный сценарий:
- ускорители есть
- ресурсы выделены
- данные не успевают подаваться
В результате:
- GPU простаивают
- архитектура усложняется буферами и кэшами
- растет стоимость инфраструктуры
Как устроена NVMe-архитектура Dell PowerEdge R7725xd без узких мест
В R7725xd узкое место убрано не настройками, а на уровне железа.
Каждый из 24 NVMe-дисков:
- подключен напрямую к CPU
- получает выделенную линию PCIe Gen5 x4
- не делит полосу с другими устройствами
В результате нет разветвления полос пропускания, не применяется промежуточный экспандер, который уменьшает параллелизм, нет конкуренции за ресурсы.
Дополнительно часть межпроцессорных линий перераспределена под PCIe — в итоге сервер получает 160 линий PCIe Gen5, из которых 96 идут под NVMe.
Ключевой эффект: производительность масштабируется предсказуемо и без провалов под нагрузкой, а сервер держит заявленную производительность не только в тестах, но и в реальных сценариях.
Выводы:
- 300+ ГБ/с внутри и ~160 ГБ/с по сети. Это уровень многосерверных систем в одном узле
- чистая PCIe Gen5 архитектура без узких мест
- платформа на AMD EPYC 9005 с корректной NUMA-топологией
- ориентация на ресурсоёмкие задачи с интенсивной обработкой данных: ИИ, аналитика, чекпоинты
- PEAK:AIO как программный стек, который раскрывает параллелизм платформы
Как устроена PCIe-архитектура Dell PowerEdge R7725xd
В последних поколениях серверов Dell заметен сдвиг:
производитель постепенно уходит от PCIe-коммутаторов в конфигурациях с высокой плотностью NVMe.
Раньше это выглядело так:
- в системах вроде Dell PowerEdge R760 для 24 NVMe использовались PCIe-коммутаторы
- в более новых моделях (например, Dell PowerEdge R770 и базовый Dell PowerEdge R7725) часть дисков переводится в режим x2
- либо линии PCIe делятся между накопителями
Вывод: это упрощает конфигурацию, но создает конкуренцию за пропускную способность
Чем Dell PowerEdge R7725xd отличается от стандартного R7725
В этом сервере Dell ресурсы PCIe перераспределены в пользу NVMe:
- все 24 накопителя подключены напрямую к CPU
- каждый диск получает выделенную линию PCIe Gen5 x4
- нет восходящих линков через коммутаторы или дерево ретаймеров
- нет разделения полосы
В результате у каждого диска — собственные очереди I/O и прямой доступ к памяти и система масштабируется без внутренних конфликтов.
Два независимых NVMe-домена вместо одного общего пула
Архитектура выстроена вокруг NUMA:
- накопители разделены между двумя процессорами AMD EPYC
- каждый CPU управляет «своей» группой дисков
- формируются два симметричных NVMe-домена
Это дает:
— локальные задержки доступа
— отсутствие лишних переходов между сокетами
— полный параллелизм чтения/записи
Сетевые адаптеры (200 Гбит/с) размещаются так, чтобы каждый адаптер находился в «своем» PCIe-домене и работал с «своей» группой NVMe
В сценарии NVMe-oF RDMA это критично:
- трафик не уходит в межпроцессорный обход по шине Infinity Fabric
- не добавляются задержки
- не теряется полоса под нагрузкой
Важный момент, о котором часто забывают — охлаждение
Gen5 NVMe — это не только скорость, но и тепловая нагрузка.
В R7725xd это учтено на уровне механики:
- U.2-корзина с предсказуемыми воздушными каналами
- направленный поток через все 24 диска
- высоконапорные вентиляторы
Результат:
- нет троттлинга даже при непрерывной записи на все диски
- каждый накопитель держит паспортную скорость
Что в итоге дает такая архитектура Dell PowerEdge R7725xd
Вся система — это не набор компонентов, а согласованная модель:
- PCIe-линии распределены без конфликтов
- NUMA-топология учитывает путь данных
- сеть «привязана» к своим NVMe-доменам
- охлаждение рассчитано под постоянную нагрузку
Итоговый эффект: производительность выходит на уровень, близкий к теоретическому пределу интерфейсов и главное — сохраняется при масштабировании и под реальной нагрузкой
В Dell PowerEdge R7725xd не «ускорили NVMe», а убрали все места, где он мог бы тормозить.
Как iDRAC 10 показывает состояние NVMe-подсистемы
В Dell PowerEdge R7725xd используется iDRAC 10 — обновленная система удаленного управления, которая выступает единым центром мониторинга и администрирования сервера.
На стартовом экране сразу доступна ключевая информация:
- общее состояние системы и подсистемы хранения
- последние события и активность
- параметры сервера: BIOS, прошивка iDRAC, IP, лицензия
В тестовой конфигурации все индикаторы находятся в «зеленой зоне», что подтверждает корректную работу системы.
Что видно сразу без погружения в интерфейс
iDRAC 10 построен так, чтобы базовую диагностику можно было сделать за несколько секунд:
- сводка задач (выполненные, текущие, ожидающие)
- последние события, включая аппаратные изменения
- журнал с событиями по питанию и вскрытию шасси
- встроенная KVM-консоль для полного удаленного доступа
Вывод: это позволяет быстро понять текущее состояние сервера без перехода по нескольким разделам
Как отображается NVMe-подсистема
В разделе, посвященном подсистеме хранения, iDRAC 10 показывает полный состав установленных в PowerEdge R7725xd накопителей – и здесь важна детализация.
В верхней части — общее количество дисков и распределение по состояниям (с визуализацией):
в рассматриваемой конфигурации все 24 NVMe-диска активны. Отдельно отображаются загрузочные устройства
Справа — панель сводной информации:
накопители разделены на физические и возможные виртуальные диски. При этом все устройства отображаются в статусе Non-RAID.
В нижней части — журнал событий по подсистеме хранения:
здесь фиксируются операции установки каждого PCIe SSD с привязкой к конкретному отсеку и слоту.
На завершающем скриншоте показан детализированный список NVMe-устройств в интерфейсе iDRAC 10
В списке устройств каждый NVMe-диск отображается отдельно — со статусом, емкостью и привязкой к конкретному отсеку корзины. Это позволяет сразу понять не только состояние системы в целом, но и расположение каждого устройства.
При выборе диска открывается детальная карточка, которая подсвечивает:
- полное обозначение модели
- используемый протокол и форм-фактор
- согласованные параметры PCIe
Вывод: подобная детализация упрощает эксплуатацию и отслеживание системы
Зачем iDRAC 10 нужен в плотной NVMe-конфигурации
Интерфейс не просто дает представление об «общем состоянии сервера», а позволяет наблюдать аппаратную картину NVMe-подсистемы:
— видно, как работают линии PCIe
— в каком состоянии каждый диск
— нет ли скрытых проблем на уровне железа
Проверка занимает секунды и заменяем ручную диагностику.
Тестовая конфигурация: на чем проверяли производительность Dell PowerEdge R7725xd
Прежде чем переходить к результатам, важно понимать, на какой конфигурации они получены. Dell PowerEdge R7725xd в тесте собран как сбалансированная, но максимально производительная система — без перекосов в сторону отдельных компонентов.
Процессоры и память
В основе:
- 2 × AMD EPYC 9575F по 64 высокочастотных ядра на каждый процессор
- 24 модуля DDR5 по 32 ГБ с эффективной скоростью 6400 MT/s
Подсистема хранения (хранилище полностью построено на NVMe Gen5)
- 24 × Micron 9550 PRO U.2
- объем одного диска — 15,36 ТБ
- суммарный «сырой» объем — 368,64 ТБ
Каждый накопитель:
- подключен по выделенной линии PCIe Gen5 x4
- обеспечивает до 14 000 МБ/с на чтение
- и до 10 000 МБ/с на запись
Отдельно важно: платформа уже поддерживает накопители емкостью до 128 ТБ, то есть есть запас по масштабированию без изменения архитектуры.
Сетевая часть (сеть подобрана с запасом, чтобы не стать узким местом)
- 4 × Broadcom BCM57608 (в сумме — 8 портов по 200 Гбит/с)
- дополнительно OCP-адаптер Broadcom BCM57412 с двумя портами 10 Гбит/с
- коммутатор: Dell PowerSwitch Z9664
Дальше логично переходить к результатам FIO — там уже видно, как эта конфигурация ведет себя под разными типами нагрузки.
Результаты тестов Dell PowerEdge R7725xd: FIO, NVMe-oF RDMA и GPUDirect Storage
Мы прогнали Dell PowerEdge R7725xd через серию тестов: FIO, NVMe-oF RDMA и GPUDirect Storage — то есть посмотрели не только «локальные цифры», но и поведение в сценариях, близких к реальной эксплуатации.
И здесь важен не сам факт «300+ ГБ/с» (мы его уже видели выше), а как система ведет себя под разными типами нагрузки.
Что разбираем:
- как ведет себя система в FIO (random vs sequential, от 4К до 1М)
- где заканчиваются IOPS и начинается «чистая» пропускная способность
- как масштабируется NVMe-oF RDMA при росте нагрузки
- что происходит с производительностью при подключении нескольких клиентов
- как работает связка NVMe + GPU через GPUDirect Storage
- и где у этой архитектуры реальные пределы
Полный разбор тестирования с цифрами, графиками и поведениями под нагрузкой оставляем на сайте – переходите