Сегодня компьютеры для высокопроизводительных вычислений (HPC), которые занимаются разработками искусственного интеллекта и машинного обучения, в основном используют мощные графические чипы и многоядерные процессоры.
В тоже время дата-центры по обработке данных представляют собой ряды стоек, до краев заполненных многочисленными серверами с мощными и не очень компонентами.
Все это оборудование, несмотря на современные достижения в области производства и энергоэффективности, выделяет огромное количество тепла. На самом деле так много, что до 40% от общих энергозатрат объекта тратится на поддержание ИТ-оборудования в пределах допустимых рабочих температур.
Это лучше всего иллюстрируется коэффициентом эффективности энергопотребления (PUE), который описывает, насколько эффективно компьютер использует энергию. Более конкретно, он показывает, сколько энергии используется ИТ-оборудованием, в отличие от охлаждения и других накладных расходов, которые поддерживают оборудование.
Это не новая проблема, но она усугубилась недавними инициативами по созданию более эффективных и экономичных решений для охлаждения.
В настоящее время ожидается рост тепловыделения ИТ-оборудования
Текущие процессоры на рынке серверов легко потребляют около 200-280 Вт. В этих пределах воздушное охлаждение все еще может поддерживать нужный температурный уровень. Однако все, что выше этого, делает воздушное охлаждение практически неэффективным.
С другой стороны, графические процессоры потребляют значительно больше 400 Вт, а в некоторые модели, таких как Nvidia A100, потребление достигает 500 Вт на карту. Так что вышеупомянутая модель A100 жизнеспособна в серверных корпусах только с использованием жидкостного охлаждения. При этом прогнозы для будущих разработок прогнозируют устойчивый рост энергопотребления.
Современные решения для охлаждения
Подавляющее большинство серверов и рабочих станций по-прежнему полагаются на воздушное охлаждение. Серверы используют мощные вентиляторы и металлические радиаторы для рассеивания тепла.
Этот нагретый воздух необходимо охлаждать с использованием дорогостоящих систем CRAH и CRAC, что увеличивает общие эксплуатационные расходы. Это особая проблема в тех районах мира, где температура окружающей среды в течение длительного времени превышает 35 ° C.
Существует несколько методов жидкостного охлаждения:
- Жидкостное охлаждение непосредственно на чипе с общими распределительными - устройствами охлаждающей жидкости (CDU);
- Жидкостное охлаждение непосредственно на чипе с отводом тепла в стойке;
- Жидкостное охлаждение непосредственно на чипе с отводом тепла, содержащегося в корпусе;
- Погружное жидкостное охлаждение
- Гибридные теплообменники воздух-жидкость задней двери
Жидкостное охлаждение непосредственно на чипе с общими распределительными устройствами охлаждающей жидкости (CDU)
По своей сути этот тип охлаждения основан на прямом поглощении тепла от чипов за счет использования специально разработанных водоблоков.
Они представляют собой металлическую пластину с микроканалами для достижения наилучшей теплопередачи.
Но необходимо поддерживать хрупкое равновесие: слишком плотный массив может значительно повлиять на гидравлическое сопротивление и снизить общий потенциал охлаждения водоблока.
И вот уже более 15 лет компания EK является одним из ведущих производителей таких водоблоков с высоким тепловым потоком, постоянно стремясь усовершенствовать свои конструкции.
Подогретая охлаждающая жидкость, которая может достигать 50-60°C (122-140°F), перекачивается через шланги (обычно изготовленных из резины EPDM) в CDU, которые действуют как коллекторы для теплой охлаждающей жидкости. Подключение к CDU обычно достигается с помощью быстроразъемных муфт (QDC) для облегчения обслуживания и модернизации, минимизации времени простоя. В меньших масштабах такие промышленные QDC и CDU используются на наших рабочих станциях Fluid Works.
Затем охлаждающую жидкость можно перекачивать по трубам большего диаметра в специальные холодильные установки. Из-за высокой разницы температур между охлаждающей жидкостью и воздухом объекты часто могут рассчитывать на большое количество свободного охлаждения с использованием сухих теплообменников жидкость-воздух, что обеспечивает большую экономию электроэнергии и воды.
Жидкостное охлаждение непосредственно на чипе с отводом тепла в стойке
Эта форма охлаждения очень похожа на предыдущий метод с CDU. Он по-прежнему использует индивидуальные водоблоки для отвода тепла от микропроцессоров, но вместо того, чтобы перекачивать теплоноситель в общую сеть для отвода тепла, он полагается на собственные насосы и встроенные радиаторы в стойке для отвода тепла. К общим теплообменникам в серверной стойке может подключаться сразу несколько компьютеров.
Теплый воздух от радиаторов в свою очередь охлаждается привычными кондиционерами.
Жидкостное охлаждение непосредственно на чипе с отводом тепла в серверном корпусе
EK Fluid Works X7000-RM идеально подходит для описания этой категории. Он оснащен до 7 графическими процессорами с жидкостным охлаждением, большим объемом оперативной памяти и процессором AMD EPYC 7002/7003 с большим количеством ядер.
Все это оборудование, а также радиаторы, насосы и резервные источники питания находятся в корпусе 5U. Благодаря использованию DLC может быть достигнута значительно более высокая плотность вычислений, и благодаря тому, что он полностью изолирован, он является отличным кандидатом для модернизации устаревших центров обработки данных.
Погружное жидкостное охлаждение
Более поздним методом укрощения десятков кВт мощности является погружное жидкостное охлаждение. Вместо циркуляции и удержания охлаждающей жидкости внутри герметичных систем водяных блоков и труб весь сервер погружен в непроводящую охлаждающую жидкость в больших погружных ваннах или резервуарах.
Эта охлаждающая жидкость специально разработана для того, чтобы быть не коррозионной, непроводящей, инертной, долговечной и с минимальной токсичностью или без нее. Эта система охлаждения может быть однофазной или двухфазной, что изменяет способ отвода тепла от компонентов. Окончательный отвод тепла осуществляется аналогично системам DLC, зависящим от СDU. Мы рассмотрим эту тему более подробно в будущем блоге.
ибридные теплообменники воздух-жидкость задней двери
Это универсальное решение, которое можно использовать для усиления существующей системы CRAC, по сути, прикрепив большие радиаторы с вентиляторами к задней части серверного шкафа. Он может эффективно охлаждать большую часть нагретого воздуха, производимого ИТ-оборудованием, но требует внесения некоторых изменений в серверную комнату.
Это все еще не решает проблему того, что воздух является неэффективной охлаждающей средой, что значительно ограничивает общую мощность стойки по сравнению с полнокровными жидкостными решениями для охлаждения.
Вывод
Отрасль стремится к увеличению вычислительной мощности в меньших формах, все еще пытаясь повысить энергоэффективность вычислительных средств.
Этот толчок к “более экологичным” технологиям и решениям, по сути, заставляет инженеров центров обработки данных совершенствовать будущие системы охлаждения, и на данный момент будущее за жидкостным охлаждением.
