Плотность размещения вычислительных мощностей в дата-центрах растет по мере появления новых центральных процессоров с увеличенным числом ядер. В последние годы в связи с активным внедрением искусственного интеллекта во многих дата-центрах появились системы, оборудованные графическими ускорителями GPU, которые также сильно увеличили энергопотребление оборудования и, как следствие, нагрузку на их системы охлаждения.
В прошлом десятилетии мощность установленного в одной серверной стойке оборудования не превышала 20 Вт (обычно составляла 5–10 Вт), и для него вполне было достаточно воздушного охлаждения. Однако сейчас, с увеличением вычислительной мощности серверов, мощность одной стойки может быть больше 30 Вт, а если серверы оборудованы GPU, то она даже превышает 40 Вт. Поэтому резко возрос спрос на системы жидкостного охлаждения, обеспечивающие более эффективный отвод тепла от серверов.
Посмотрим, что дает замена воздушного охлаждения на жидкостное, и каковы преимущества и недостатки каждого типа охлаждения.
Как работает воздушное охлаждение
Охлаждение воздухом использовалось еще в первых дата-центрах и остается основным способом отводом тепла от установленного в них ИТ-оборудования. Хотя технология постоянно совершенствуется, основная концепция воздушного охлаждения остается прежней: холодный воздух продувается через оборудование либо циркулирует вокруг него, отводя тепло и постепенно заменяя нагретый воздух. Существует три основные схемы организации потоков воздуха при воздушном охлаждении: на уровне помещения, ряда стоек и отдельной стойки.
При первой схеме установленные кондиционеры нагнетают холодный воздух в серверную комнату, при этом воздух может циркулировать вокруг всего помещения серверной либо поступать к оборудованию через фальшпол. Во многих дата-центрах для более эффективной организации воздушных потоков и точного подачи холодного воздуха к оборудованию используется система так называемых горячих и холодных коридоров между стойками, которые изолированы друг от друга.
При схеме с охлаждением рядов стоек в каждой стойке имее6тся свой кондиционер, который направляет холодный воздух к оборудованию этой стойки. Кондиционер можно устанавливать между серверными стойками либо над ними. Такая схема улучшает эффективность охлаждения по сравнению с охлаждением всего помещения, сокращая расход электроэнергии на работу вентилятора.
Охлаждение на уровне отдельной стойки предусматривает размещение блока вентиляторов непосредственно в серверной стойке (в верхней ее части или между серверами), чтобы обеспечить более точную подачу холодного воздуха на оборудование. Такая схема позволяет точнее сконфигурировать систему охлаждения, однако усложняет ее инфраструктуру, поскольку требуется большое число блоков вентиляторов.
Воздушное охлаждение дата-центров используется уже более полувека, с эры первых мэйнфреймов, это зрелая технология с огромным опытом внедрения, поэтому обслуживание систем воздушного охлаждения – достаточно простой процесс.
Тем не менее у воздушного охлаждения есть и проблемы. Главный недостаток таких решений – это неспособность обеспечить выполнение требований к отводу тепла от ИТ-оборудования, которые возникают при внедрении современных приложений и постоянного «уплотнения» серверов в дата-центрах. Дело в том, что воздух просто в силу своих физических характеристик плохо подходит для передачи тепла. Соответственно современным дата-центрам нужны новые технологии, способные более эффективно отводить тепло от серверного оборудования.
Как работает жидкостное охлаждение
Еще сравнительно недавно жидкостное охлаждение применялось только для мэйнфреймов и суперкомпьютеров, но в последнее время его стали использовать и для обычных стоечных серверов. Вода и другие жидкости имеют существенно более высокую теплопроводность, чем воздух (например, вода поглощает тепло в 30 раз быстрее воздуха). Поэтому их можно применять, даже если их температура лишь ненамного ниже температуры компонентов сервера, которые нужно охлаждать. При использовании же воздушного охлаждения разница температур должна быть намного выше, что означает большие затраты электроэнергии на охлаждение воздуха (по оценкам аналитиков, сейчас до половины расходов на эксплуатацию дата-центров связано с системами охлаждения).
Как и воздушное охлаждение, жидкостное охлаждение в дата-центрах применяется по трем схемам: охлаждение непосредственно чипа (direct-to-chip cooling), охлаждение с помощью теплообменников, встроенных в заднюю дверцу стойки (rear-door heat exchangers) и иммерсионное охлаждение (immersion cooling).
В схеме охлаждения непосредственно чипа (другой вариант названия – охлаждение непосредственно пластин) система охлаждения встроена непосредственно в корпус сервера, а охлаждающая жидкость подается по трубкам к «холодным» пластинам, расположенным рядом с самыми горячими компонентами сервера (центральными процессорами, GPU и модулями оперативной памяти). Затем по другим трубкам она поступает в теплообменник или охлаждающее устройство, после чего охлажденная жидкость снова подается к холодным пластинам.
По схожей схеме работает и охлаждение с помощью теплообменников, встроенных в заднюю дверцу стойки (сейчас это самый популярный вариант жидкостного охлаждения). Вентиляторы серверов стойки подают горячий воздух на эти теплообменники, которые затем рассеивают тепло. Сами теплообменники заполнены жидкостью, которая циркулирует по замкнутому контуру, и оборудованы системой охлаждения этой жидкости.
Система иммерсионного охлаждения основана на погружении всего сервера в диэлектрическую жидкость и потребляет намного меньше энергии, чем два остальных варианта жидкостного охлаждения. Чтобы предотвратить протечки жидкости, система иммерсионного охлаждения и компоненты серверов упакованы в изолированные друг от друга контейнеры. При однофазном иммерсионном охлаждении жидкость циркулирует по замкнутому контуру и охлаждается, чтобы рассеивать тепло, а при двухфазном используется жидкость с низкой температурой кипения, которая, закипая, превращается в пар. Этот пар поднимается к крышке контейнера, где он охлаждается, конденсируется и обратно превращается в жидкость.
Так как у жидкостей теплопроводность намного лучше, чем у воздуха, жидкостное охлаждение намного эффективнее обеспечивает отвод тепла от современного серверного оборудования. Кроме того, системы жидкостного охлаждения потребляют меньше электроэнергии, что означает снижение операционных затрат по сравнению с воздушным охлаждением. Они также занимают меньше места и создают намного меньше шума из-за отсутствия вентиляторов (это важно для персонала дата-центров).
Жидкостное охлаждение имеет и свои минусы. Прежде всего системы жидкостного охлаждения значительно дороже, чем воздушного (хотя разница в цене может компенсироваться за счет сокращения текущих расходов на охлаждение дата-центров). Их значительно сложнее монтировать, а применение охлаждения на уровне чипа и иммерсионного охлаждения существенно усложняет модернизацию серверов (например, если в них устанавливают новые процессоры или дополнительные модули памяти, приходится вносить изменения и в систему охлаждения). Также всегда есть риск протечки охлаждающей жидкости, которая может привести к катастрофическим последствиям, если выведет из строя ИТ-оборудование.
Кроме того, следует учитывать, что это сравнительно молодая технология, поэтому на рынке систем жидкостного охлаждения сейчас предлагается много проприетарных решений, что создает риск зависимости от одного вендора, а многие технические специалисты дата-центров еще не имеют опыта обслуживания систем жидкостного охлаждения.
Источник: BYTEmag
_____________________________________________
Еще больше интересных публикаций ищите на нашем сайте https://www.itbestsellers.ru/ или подписывайтесь на наш канал.
Портал «Бестселлеры IT-рынка» целиком посвящен вопросам аналитики и статистики российского ИТ-рынка. Значительная часть статей базируется на аналитических отчётах компании ITResearch. Площадка нацелена в первую очередь на профессионалов, но материалы могут быть так же интересны и более широкой аудитории, интересующейся ИТ-рынком
