6992 подписчика

GPU SuperWorkstation 7049GP-TRT

3 мая 20213 мая 2021

184

8 мин

Оглавление

Расположение элементов
Характеристики сервера
Упаковка и комплектация

Небольшой обзор сервера Supermicro GPU SuperWorkstation 7049GP-TRT. В сервер можно установить до 4 больших GPU 10.5' двойной ширины. Для GPU с пассивным охлаждением понадобится комплект вентиляторов MCP-320-74702-0N-KIT.

Сервер примечателен тем, что может устанавливаться и как обычная рабочая станция и как стоечный сервер.

Буду собирать сервер с дополнениями:

монтаж в стойку;
две видеокарты с активным охлаждением MSI Geforce RTX 3090 AERO 24G на базе архитектуры NVIDIA Ampere;
дополнительный PCIe адаптер SFP+ на два порта;
два SATA SSD диска в RAID 1 под систему;
1 процессор, 128 ГБ оперативки.

Расположение элементов

Спереди доступно 8 слотов для дисков 3.5'. Опционально 4 NVMe.

Входит 4 толстых GPU. Под ними можно установить M2 диск. Выше ещё останется два PCIe слота 3.0 x 16 и один 3.0 x 4. GPU поддерживаются специальной рейкой с прорезиненными держателями. Питание к GPU подведено.

Два радиатора CPU с вентиляторами. Напротив CPU установлены два вытяжных вентилятора. В верхней части два БП. Между дисками и GPU 4 внутренних вентилятора.

16 DIMM слотов. Рядом с дисками датчик температуры и датчик открытия корпуса.

Спереди имеется панель управления и индикации.

Кнопка питания
Кнопка перезагрузки
HDD LED
NIC LED
Information LED
Power Fail
Два порта USB 3.0
Line out
Mic

Передняя крышка может запираться. При установке в стойку эту крышку лучше снять совсем, иначе может не открыться из-за оборудования снизу.

Задняя панель.

Два Hot Plug блока питания 2200 Вт
COM
2 USB 3.0 + 2 USB 2.0
LAN
IPMI
Два вентилятора
VGA
Четыре слота PCIe 3.0 x16 (double-width)
Два слота PCIe 3.0 x16 (single-width) и один слот PCIe 3.0 x4 (in x8)

Характеристики сервера

Основные
Модель: SYS-7049GP-TRT
Название: SuperServer 7049GP-TRT (Black)
Материнская плата: Super X11DPG-QT BIOS Type: AMI 32Mb SPI Flash ROM
Форм-фактор
4U Rackmountable / Tower
Optional Rackmount Kit
Модель шасси: CSE-747BTS-R2K20BP
Процессоры
Dual Socket P (LGA 3647) 2nd Gen Intel Xeon Scalable Processors and Intel Xeon Scalable Processors
3 UPI up to 10.4GT/s
Support CPU TDP 70-205W
Cores: до 28 ядер
Примечание: BIOS 3.2 или выше требуется для поддержки 2nd Gen Intel Xeon Scalable processors (Cascade Lake-R)
Поддержка GPU: 4 GPU
Память
Memory Capacity16 DIMM slots
До 4TB 3DS ECC DDR4-2933MHz RDIMM/LRDIMM
Supports Intel Optane DCPMM
Memory Type: 2933/2666/2400/2133MHz ECC DDR4 RDIMM/LRDIMM
Примечание: 2933MHz in two DIMMs per channel can be achieved by using memory purchased from Supermicro Cascade Lake only.
Устройства на плате On-Board Devices
Chipset: Intel C621 chipset
SATA: SATA3 (6Gbps); RAID 0, 1, 5, 10
Network Controllers
- Intel X550 Dual Port 10GBase-T
- Virtual Machine Device Queues reduce I/O overhead
- Supports 10GBASE-T, 100BASE-TX, and 1000BASE-T, RJ45 output
IPMI
- Support for Intelligent Platform Management Interface v.2.0
- IPMI 2.0 with virtual media over LAN and KVM-over-LAN support
Graphics: ASPEED AST2500 BMC
Порты ввода/вывода
SATA: 10 SATA3 (6Gbps) ports
LAN
- 2 RJ45 10GBase-T ports
- 1 RJ45 Dedicated IPMI LAN port
USB
- 5 USB 3.0 ports (2 rear, 2 via header, 1 Type A)
- 4 USB 2.0 ports (2 rear, 2 via headers)
Video: 1 VGA port
Audio: 7.1 HD Jacks
Serial Port/Header: 2 COM ports (1 rear, 1 Header)
Софт: Intel Node Manager, IPMI 2.0, SSM, SPM, SUM, SuperDoctor 5
PC Health Monitoring
CPU
- Monitors for CPU Cores, Chipset Voltages, Memory.
- 4+1 Phase-switching voltage regulator
FAN
- Fans with tachometer monitoring
- Status monitor for speed control
- Pulse Width Modulated (PWM) fan connectors
Temperature
- Monitoring for CPU and chassis environment
- Thermal Control for fan connectors
Цвет, размеры и вес
Высота: 462 мм
Ширина: 178 мм
Глубина: 673 мм
Упаковка (В x Ш x Г): 27" x 13" x 38"
Вес нетто: 20.9 кг
Вес брутто: 28.1 кг
Цвет: тёмно-серый
Передняя панель
Кнопки
- Power On/Off button
- System Reset button
LEDs
- Power status LED
- Hard drive activity LED
- Network activity LEDs
- System Overheat & Power Fail LED
Порты: 2 Front USB 3.0 Ports
Слоты расширения PCI-Express
4 PCI-E 3.0 x16 (double-width) slots
2 PCI-E 3.0 x16 (single-width) slots
1 PCI-E 3.0 x4 (in x8 slot)
Дисковые слоты
Hot-swap
- 8 Hot-swap 3.5" drive bays
- Optional 4x 2.5" NVMe supported
M.2
- 1 NVMe based M.2 SSD
- Form Factors: 2280, 22110
Охлаждение
Fans
- 4 Heavy duty fans
- 2 Rear exhaust fans
- 2 Optional Rear fans (required for Passive GPUs)
Heatsink: 2 Active heatsink with optimal fan speed control
Питание
2200W Redundant Power Supplies with PMBus
Total Output Power and Input
- 1200W with Input 100-127Vac
- 1800W with Input 200-220Vac
- 1980W with Input 220-230Vac
- 2090W with Input 230-240Vac
- 2200W with Input 220-240Vac (for UL/cUL use only)
- 2090W with Input 230-240Vdc (for CCC only)
AC Input Frequency: 50-60Hz
Размеры БП (Ш x В x Г): 76 x 40 x 336 мм
Output Type: Backplanes (gold finger)
Certification: Titanium 80 Plus

Упаковка и комплектация

Вот и пришла коробочка, посмотрим что внутри.

Упаковано как обычно, в две коробки.

Сбоку коробка с мелочами.

Первое, что вытащил — это крепление для M2 диска. Я не использую.

Два кабеля питания на евроразъём.

Какая-то планка-замок. Не использовал.

Ключи от передней панели, винты, наклейки. Это мне не требуется.

Кабель Supermicro CBL-PWEX-1040. Этот не использовал, остальные уже в корпусе.

Запасные салазки для дисков. Две штуки. Непонятно зачем, в корпусе уже стоят все 8 штук.

Винты с креплениями. Не использовал.

Ножки для напольной установки. Мне не понадобятся, т.к. сервер будет устанавливаться в стойку.

Для процессоров имеются радиаторы с вентиляторами охлаждения. Одна коробка у меня пустая, потому что один процессор уже установлен.

Внутри всё хорошо упаковано.

На радиатор уже нанесена термопаста. Вентилятор подключается через управляемый 4-pin разъём.

Вот и сам сервер.

Дополнительные компоненты

Дополнительно будем устанавливать две видеокарты MSI Geforce RTX 3090 AERO 24G с активным охлаждением.

SFP+ адаптер Supermicro AOC-STGN-i2S.

Два диска Intel SSD D3-S4510 SERIES 960GB SATA.

Внешний вид

Посмотрим на сервер в сборе.

Что внутри?

Разнёс видеокарты дальше друг от друга, видно, что верхнюю карту можно даже поднять на слот выше, чем указано в документации. Ещё выше поднять уже не получится, память мешает. Так что если нужен слот для длинной карты, то один такой есть.

Выбор PCIe слотов с моей стороны очевиден. Первый процессор поддерживает второй, четвёртый и девятый PCIe слоты. У меня как раз три устройства, больше не влезет, иначе придётся покупать второй процессор. Слоты подписаны, перепутать сложно.

Платы фиксируются специальными держателями. Планка с держателями крепится одним винтом, её легко снять.

Дисковая корзина на 8 слотов.

Дополнительно есть три отсека 5.25' и один 3.5'. Можно установить CD-ROM или ещё что-нибудь.

Четыре вентилятора в корпусе.

Процессор с радиатором и вентилятором. У меня в корпусе только один процессор, второй не ставили.

Пароль пользователя ADMIN от IPMI можно найти на наклейке материнской платы. Так что не спешите устанавливать GPU, а то потом пароль не видно.

Устанавливаем GPU.

Блоки питания.

Разъёмы материнской платы на задней панели.

Тестирование видеокарты

Сервер собран, теперь было бы неплохо проверить, что видеокарты определяются и работают. Benchmark тест нужно какой-нибудь прогнать.

Для начала в BIOS переключаю приоритет вывода изображения с интегрированной видеокарты на установленную. PCIe/PCI/PnP Configuration > VGA Priority, Onboard меняю на Offboard . Подключаю монитор к тестируемой видеокарте.

Собираю из двух дисков RAID 1. Для входа в утилиту управления SATA контроллером нужно нажать Ctrl + i при загрузке.

Временно накатываю Ubuntu.

Получается следующий тестовый стенд:

сервер: Supermicro GPU SuperWorkstation 7049GP-TRT
GPU с активным охлаждением: MSI Geforce RTX 3090 AERO 24G — 2 шт
процессор: Intel(R) Xeon(R) Silver 4210 CPU @ 2.20GHz
память: 128 Гб 2400 МГц
ОС: Ubuntu Desktop 20.04

Установим драйвера NVIDIA. Посмотрим, что предлагает Ubuntu:

ubuntu-drivers devices

Если версия драйверов устраивает, а меня устраивает, то соглашаемся:

ubuntu-drivers autoinstall

Для контроля состояния видеокарт можно использовать утилиту nvidia-smi:

nvidia-smi

Текущая версия драйверов 455, можно установить драйвера вручную, например, версию 460:

apt-get install install nvidia-driver-460

Итак, обе видеокарты обнаружены и нормально работают. Теперь нужно выбрать какой-нибудь тест GPU. Мне не принципиально какой, нашёл Benchmark: Superposition на движке Unigine:

https://benchmark.unigine.com/

Скачиваем тест.

Выполняем скрипт, после в распакованной директории запускаем программу.

На средних настройках получилось 11313 очков.

Тестирование завершено. В BIOS переключаю приоритет вывода изображения обратно на интегрированную видеокарту. PCIe/PCI/PnP Configuration > VGA Priority, Offboard меняю на Onboard.

Установка в стойку

Сервер планируется поставить в стойку. Потребуется дополнительный рельсовый комплект MCP-290-00059-0B.

В комплекте рельсы, уши сервера и крепёжные винты.

Верхняя крышка снимается, на её место можно установить рельсы для монтажа в стойку.

Переднюю крышку при установке в стойку лучше демонтировать. Её конструкция неудачна, крышка упирается в оборудование снизу и не открывается полностью.

Рельсы разбираются, внутренняя часть устанавливается на корпус, внешняя часть устанавливается в стойку (по центру, высота шасси 4 юнита), крепёж не требуется. Уши прикручиваются тремя винтами к корпусу. Сервер вставляется в рельсы, через уши фиксируется к стойке винтами, чтобы не выдвигался.