Напоминаю, что шестой прототип сервера для четырёх GPU GeForce RTX 4090 оказался неудачный.
Материнская плата Supermicro X12DPL-i6 нас подвела. Дело в том, что четыре PCIe слота работают неравномерно. Три из них на одном процессоре, а четвёртый — на втором.
При определённых нагрузках происходит какая-то рассинхронизация и мощность на GPU резко падает. Нам такой вариант не подходит. Теперь либо менять материнку, либо использовать только три GPU.
На пробу был собран седьмой прототип сервера.
Седьмой прототип сервера для четырёх GPU GeForce RTX 4090 — тестовый стенд
Для тестирования получили другую модель материнской платы — X12DAi-N6.
В итоге седьмой прототип выглядел так:
Результаты тестирования прошли успешно, было принято решение собрать несколько серверов в предпрод. Понятно что в таком виде собрать сервер невозможно, из-за размеров материнской платы в такой небольшой по глубине корпус воткнуть материнскую плату и оба блока питания нет никакой возможности. Поэтому корпус был заменён на другой, тоже Exegate, но длиннее.
Зато высота снизилась до 4 юнитов, это очень хорошо. Сервер теперь выглядит вполне достойно, с точки зрения установки в стойку. Честно говоря, никто почему-то не подумал про то, что со снижением количества юнитов резко появляется возможность крепления рельсов. У 6U корпуса Exegate рельсы отсутствовали как класс, а у 4U корпуса рельсы были, я у них на сайте находил. Ну да ладно, возможно, потом я точную модель корпуса посмотрю и переделаем. Пока и на полке полежит.
Обращаю внимание на расположение блоков питания. Поставщик, хочется похвалить, впихнул невпихуемое и воткнул блоки питания в этот низкий корпус. Пришлось пожертвовать PCIe сетевой картой, но она нам и не нужна. Если что, можно гибким подводом подключить.
Материнская плата вошла как и планировалось.
Давайте снимем крышку и посмотрим внутри.
В передней части корпуса установлены три вентилятора, которые создают тягу для отвода воздуха с GPU карт.
GPU карты тоже расположены под углом, это связано с неудачным расположением на них разъёма питания. Вот, честное слово, рукожопы проектировали. Вот были же нормальные GIGABYTE GeForce RTX 4090 с правильным расположением разъёма питания. Но, увы, в продаже не нашлось. Взяли Фантомы, найдёте в поиске, если интересно.
Блоки питания вынесены в заднюю часть, один установлен вертикально, над ним нашлось место для блока с дисками. Второй стоит горизонтально над зоной PCIe.
Диски вошли впритык.
Между БП стоят радиаторы процессоров. Всё нормально.
Материнская плата Supermicro X12DAi-N6.
Два предпрод сервера уже в работе. Из проблем: начались спонтанные перезагрузки, но только на одном сервере. До причин пытаемся докопаться.
Источник:
Если вам понравилась статья, то ставьте 👍🏻 каналу.
Пишите комментарии, задавайте вопросы, подписывайтесь.