Не так давно мы собирали бюджетный вариант сервера с двумя GPU на базе Supermicro.
Использовали сервер Supermicro GPU SuperWorkstation 7049GP-TRT. В сервер можно установить до 4 больших GPU 10.5' двойной ширины. Для GPU с пассивным охлаждением может понадобиться комплект вентиляторов MCP-320-74702-0N-KIT, мне не понадобился. Особенности:
- Два процессора (LGA 3647), поддержка процессоров 2nd Gen Intel Xeon Scalable (Cascade Lake/Skylake)
- 16 DIMMs; до 4TB 3DS ECC DDR4-2933MHz RDIMM/LRDIMM, поддержка Intel Optane DCPMM
- PCIe
4 PCI-E 3.0 x16 (double-width) slots
2 PCI-E 3.0 x16 (single-width) slots\
1 PCI-E 3.0 x4 (in x8) slot - 8 Hot-swap 3.5" drive bays
- 2x 10GBase-T LAN ports
- 1 VGA, 2 COM, 5 USB 3.0
- Охлаждение
4 внутренних вентилятора
2 радиатора на процессоры с управляемыми вентиляторами
2 вытяжных вентилятора
2 опциональных вентилятора для пассивных GPU
Для начала мы устанавливали две карты A100, соответственно, понадобился только один процессор. Теперь пришла пора добавить еще две карты A100, нам также понадобится второй процессор и память.
Краткая спецификация NVIDIA A100 80GB PCIe
- Product SKU
P1001 SKU 230
NVPN: 699-21001-0230-xxx - Total board power
300 W default
300 W maximum
150 W minimum - Thermal solution: Passive
- Mechanical Form Factor: Full-height, full-length (FHFL) 10.5”, dual-slot
- GPU SKU: GA100-893FF, GA100-893FFF, GA100-893HH, GA100-893HHH
- PCI Express interface: PCI Express 4.0 ×16
- Power connectors and headers: One CPU 8-pin auxiliary power connector
Питание GPU
Расположение разъёма питания:
Апгрейдим сервер
Берём с собой память, столько же, сколько сейчас установлено на одном процессоре.
Второй процессор.
И сами видеокарты.
Не забываем комплект вентилятора с радиатором охлаждения от шасси сервера.
Сервер нужно обесточить и извлечь из стойки. Работать следует вдвоём.
Снимаем крышку, проводим осмотр. В сервере, как и ожидалось, установлен один процессор и пара GPU.
Готовимся к работе.
Снимаем мешающие фиксирующие скобы.
На втором сокете установлена заглушка. Не снимайте её, если не планируете ставить процессор.
Снимаем заглушку.
Перед установкой процессора чищу его спиртом.
Устанавливаем процессор в сокет. По инструкции положено устанавливать процессор в пластиковую скобу и пристёгивать к радиатору, но в данной модели сервера радиатор можно установить двумя способами: правильным и неправильный. Поэтому я предпочитаю устанавливать радиатор на процессор, он прилипнет, а потом уже пристёгивать и закреплять скобу.
Устанавливаем память, потом будет сложно подлезть.
Достаём вентилятор.
Теперь подключим вентилятор к материнской плате. Да, по инструкции это нужно делать потом, но... не подлезешь.
Питание вентилятора подключено.
Сам вентилятор пока пусть повисит в сторонке.
Устанавливаем пластиковую скобу на процессор. Тоже можно было бы заранее сделать, но без разницы, мне так удобнее.
Готовим радиатор. Заводская термопаста уже нанесена.
И внимательно устанавливаем радиатор, точно так же, как установлен первый.
Ниже на фото показано как можно ошибиться, не делайте так. При такой установке вентиляторы начинают дуть друг на друга.
Поэтому разворачиваем как нужно и приклеиваем к процессору. Если забыли поставить память, то радиатор можно извлечь вместе с процессором и плотно подогнать пластикувую направляющую, заодно память поставить.
Устанавливаем радиатор правильной стороной.
Затягиваем винты в порядке, указанном на радиаторе.
Понадобится длинный шестигранник.
Заранее подберите его перед поездкой.
На радиатор устанавливаем вентилятор и закрепляем винтом.
Подготавливаем пространство для GPU, снимаем заглушки.
Снимаем с видеокарт защитные плёнки.
Устанавливаем видеокарты и подключаем питание. Переходники не понадобятся.
Заранее распределите кабели питания, они разной длины.
Укладываем кабели питания, при необходимости фиксируем стяжками.
Закрепляем GPU винтами и защёлками.
Красота.
Устанавливаем обратно фиксирующую планку и закрепляем GPU.
Фиксаторы туго удерживают карты резиновыми наконечниками.- Особенно полезно при вертикальной установке корпуса.
Всё собрано.
Закрываем крышку.
Готовим рельсы, убираем мешающие кабели.
Устанавливаем сервер в стойку.
И радуемся хорошо выполненной работе. Не забываем включить сервер и проверить работоспособность системы.
Ссылки
Четыре GPU на SuperWorkstation, йо-хо-хо, и два NV-Link!
Источник:
Если вам понравилась статья, то ставьте 👍🏻 каналу.
Пишите комментарии, задавайте вопросы, подписывайтесь.