Растущая плотность мощности стоек подталкивает центры обработки данных к жидкостному охлаждению и требует использования новых материалов для разъемов.
Искусственный интеллект стал не только основой современных вычислений, но и инструментом, который все чаще используется в различных сферах деятельности человека. Однако вычислительная мощность, необходимая для выполнения сложных задач, создает беспрецедентную нагрузку на глобальную инфраструктуру.
Прошли те времена, когда центры обработки данных размещали только корпоративные веб-приложения, хранилища и облачные сервисы. Для питания стоек было достаточно мощности от 3 до 8 кВт, и редко она превышала 10-15 кВт на стойку.
Усовершенствованные большие языковые модели и все более сложные рабочие нагрузки по моделированию теперь требуют массовых параллельных вычислений. Новые архитектуры, основанные на специализированных графических процессорах, таких как чипы NVIDIA Blackwell и Rubin, и тензорных процессорных блоках, позволили повысить удельную мощность стойки до 60 кВт, а производительность высокоэффективных кластеров уже превышает 100 кВт на стойку. Если когда-то для обеспечения работы типичного центра обработки данных было достаточно 20-40 МВт, то сегодня для самых интенсивных рабочих нагрузок требуется 100 МВт и более, а для инфраструктуры гипермасштабируемых вычислений реальной целью является мощность в несколько гигаватт.
В связи со сменой парадигмы стало необходимым не только искать новые источники энергии, но и пересмотреть способы распределения энергии в центрах обработки данных и разработать более эффективные системы охлаждения.
Традиционные системы охлаждения
По данным Международного энергетического агентства (МЭА), потребление электроэнергии в центрах обработки данных достигнет 945 ТВтч (тераватт-часов) в 2030 году по сравнению с 415 ТВтч в 2024 году. Этот скачок создает серьезные проблемы для управления энергопотреблением и стратегий охлаждения.
Традиционно центры обработки данных полагались на воздушное охлаждение для отвода избыточного тепла. Для поддержания безопасных рабочих температур серверов и сетевого оборудования эти системы основаны на четко определенных схемах подачи воздуха, таких как горячие и холодные потоки.
В то время как воздушное охлаждение остается экономически выгодным для объектов с низкой плотностью размещения, стремительный рост вычислений на базе графических процессоров доводит традиционные технологии, основанные на воздушном потоке, до крайности.
Чтобы справиться с растущими тепловыми нагрузками, большинство операторов центров обработки данных все чаще прибегают к технологиям жидкостного охлаждения, фактически превращаясь из нишевого решения в ключевой компонент проектирования центров обработки данных нового поколения.
Роль разъемов
Для систем с воздушным охлаждением требуются разъемы блока питания и блока распределения питания, способные выдерживать повышенные рабочие температуры, в то время как для иммерсионного охлаждения требуются компоненты, которые могут безопасно функционировать при погружении в диэлектрические жидкости.
Одной из таких компаний, специализирующихся на мощных соединительных устройствах, является Anderson Power. Оценивая будущее жидкостного охлаждения, мы поговорили с Кеном Уильямсом, менеджером по продуктам компании, который имеет многолетний опыт работы в области вычислительной техники, производства и автоматизации управления.
Расположение горячих и холодных потоков
Поскольку плотность мощности на стойку приближается к 100 кВт, смешивание горячего и холодного воздуха может стать серьезной проблемой. Если выпускаемый горячий воздух случайно попадет в канал подачи холодного воздуха, серверы будут потреблять больше энергии и возникнет повышенный риск перегрева.
В отличие от систем активного охлаждения, которые работают за счет электричества или химических хладагентов, системы пассивного охлаждения, иногда требующие только воды, пригодной для вторичной переработки, используют концепцию оптимизации воздушного потока. Одной из таких систем является система изоляции горячих и холодных потоков, которая работает путем отделения горячего воздуха, выбрасываемого серверами, от холодного воздуха, подаваемого на них.
При общей планировке стойки центра обработки данных расположены в виде чередующихся рядов горячих и холодных проходов, создавая отдельные зоны для притока холодного воздуха и отвода горячего. Проходы для горячего воздуха обращены к серверной части, в то время как проходы для холодного потока открыты воздуху от кондиционеров.
Новый подход
Этот подход с воздушным охлаждением вряд ли пригоден для будущих гипермасштабируемых комплексов и систем искусственного интеллекта, где большие вычислительные нагрузки генерируют гораздо больше тепла, что требует новых подходов к охлаждению, таких как жидкостное охлаждение непосредственно на кристалле и иммерсионное охлаждение. Уильямс комментирует жидкостное и иммерсионное охлаждение:
«Переход к жидкостному и иммерсионному охлаждению в значительной степени обусловлен гипермасштабируемыми центрами обработки данных, которые конкурируют за предоставление большей вычислительной мощности для искусственного интеллекта, генеративных моделей и других высокопроизводительных рабочих нагрузок. Эти компании наращивают мощность стоек, значительно превышающую производительность традиционных серверов, с исторических максимумов в 20 кВт до более чем 100 кВт на сегодняшний день, при этом индустрия уже рассматривает возможность использования стоек мощностью 1 МВт в будущем. На таких уровнях даже лучшие решения с воздушным охлаждением не могут за ними угнаться».
Механическую инфраструктуру, энергопотребление и уровень шума, связанные с системами кондиционирования воздуха в компьютерном зале, становится все труднее обосновать по мере роста требований к производительности. Жидкостное и иммерсионное охлаждение обеспечивают гораздо большую тепловую эффективность, часто снижая энергопотребление, связанное с охлаждением, на 60-95% и увеличивая производительность до 120% при сохранении более стабильной и равномерной температуры во всем оборудовании. Уильямс продолжает:
«Переход от привычных систем кондиционирования воздуха к жидкостному охлаждению сопряжен с более высокими первоначальными затратами, дополнительной сложностью и необходимостью привлечения партнеров, обладающих необходимыми знаниями в области прокладки труб, управления жидкостями и мониторинга. Для многих операторов это означает не просто изменение системы охлаждения, но и более широкий сдвиг в том, как проектируется и обслуживается сам центр обработки данных».
Различные системы жидкостного охлаждения
При однофазном иммерсионном охлаждении информационно-коммуникационное оборудование погружается – частично или полностью – в жидкофазный диэлектрик, состоящий либо из углеводородной, либо из фторохимической жидкости.
При двухфазном погружном охлаждении жидкость, в которую погружено оборудование, меняет свою фазу из жидкой в газообразную и обратно в жидкую за счет конденсации. Эта система может работать при удельной мощности до 250-500 кВт на резервуар, что идеально подходит для мощных кластеров.
Третий метод – это охлаждение непосредственно на кристалле, при котором охлаждающая жидкость направляется непосредственно к более горячим компонентам, таким как графические процессоры, через охлаждающие пластины.
Преимущества жидкостного охлаждения включают легкую масштабируемость, более высокую вычислительную мощность, снижение энергопотребления, более длительный срок службы оборудования и меньшую площадь, поскольку такие системы не нуждаются в большой инфраструктуре воздушного потока.
Как развиваются разъемы
Очевидно, что иммерсионные системы устанавливают более жесткие ограничения на электрические соединители, как объяснил Уильямс:
"Охлаждение непосредственно на кристалле изменяет тепловую среду на графических процессорах серверных плат, создавая более стабильный и равномерный температурный профиль по сравнению с системами с воздушным охлаждением, что уменьшает количество экстремально горячих точек, которые могут возникать в плотных стойках".
В традиционных средах с воздушным охлаждением разъемы могут подвергаться воздействию температуры окружающей среды в 40-50°C в горячем проходе, а температура внутренних разъемов может подниматься выше 70°C при нагрузках, которые доводят многие стандартные разъемы до предела своих возможностей. В конструкциях с прямым подключением к чипу охлаждающие пластины и их шланги подсоединяются к процессорам через серверную плату, а разъемы питания монтируются вдоль передней или задней кромки лотка. Это естественное разделение предохраняет систему труб от помех при размещении разъемов или прокладке кабелей, а металлический корпус вокруг области разъема помогает отводить тепло, выделяющееся под нагрузкой.
В иммерсионных системах разъемы могут быть частично или полностью погружены в воду, что означает, что они должны быть изготовлены из материалов, химически совместимых с диэлектрическими жидкостями, используемыми для охлаждения оборудования. Общим для всех архитектур с жидкостным охлаждением является то, что повышение плотности мощности делает надежность разъемов, их размещение и выбор материала еще более важными по мере увеличения текущих нагрузок и увеличения теплового запаса».
Для новых конструкций требуются новые материалы
Что касается выбора материалов для удовлетворения новых требований, Уильямс дал следующие комментарии:
"Выбор материала играет решающую роль в обеспечении того, чтобы разъемы могли выдерживать длительное воздействие диэлектрических жидкостей, используемых в центрах обработки данных с погружным охлаждением. Эти системы основаны на использовании специально разработанных охлаждающих жидкостей (как правило, фторохимических или углеводородных) с различными химическими свойствами, температурами кипения и профилями стабильности, поэтому каждый соединительный элемент должен быть подобран с учетом совместимости".
Для обеспечения долговременной надежности компания Anderson Power проводит испытания материалов разъемов в специальных диэлектрических жидкостях при повышенных температурах, имитируя многолетнюю эксплуатацию, а затем сотрудничает с поставщиками охлаждающих жидкостей, чтобы проанализировать, не произошло ли выщелачивания или химического взаимодействия.
По мере того, как иммерсионное охлаждение получает все более широкое распространение, отрасль переходит на более зрелый этап развития, основные риски совместимости теперь хорошо изучены, химический состав жидкости регулярно контролируется, а конструкции разъемов все чаще разрабатываются специально для надежной работы в таких условиях».
Стандартизация индустрии разъемов
Хотя разъемы, разработанные для систем с погружным охлаждением, становятся все более популярными, соответствующие стандарты все еще находятся в стадии разработки. Уильямс добавил:
«Проект Open Compute Project (OCP), в котором Anderson Power участвует в качестве участника бронзового корпоративного уровня, активно разрабатывает рекомендации по архитектурам жидкостного охлаждения. В то же время традиционные организации по стандартизации, такие как UL, наряду со своими европейскими и азиатскими коллегами, вынуждены модернизировать давние технические требования, которые никогда не разрабатывались с учетом современных уровней напряжения, плотности мощности или методов охлаждения».
Необходимо рассмотреть такие вопросы, как совместимость материалов с диэлектрическими жидкостями, скорость утечки и зазоры, пределы длительного воздействия химических веществ и протоколы испытаний, адаптированные к условиям погружения.
Что будет дальше
Мощность стоек приближается к мегаваттам, и технологии подключения должны последовать их примеру. Система распределения электроэнергии в центрах обработки данных также быстро переходит от существующих 12-вольтовых объединительных плат к системам напряжением 48-54 В. Далее, напряжение 800 В постоянного тока может подаваться непосредственно на стойки, за что сегодня активно выступает NVIDIA. Как этот динамичный сценарий повлияет на технологии подключения? Уильямс отвечает:
«Для безопасного поддержания таких высоких напряжений потребуются более прочные системы изоляции, большие пути утечки и зазоры, а также геометрия разъемов, предотвращающая образование дуги как в средах с воздушным охлаждением, так и в средах, подверженных воздействию жидкости. В то же время операторы хотят получать больше энергии при той же занимаемой площади, что повышает спрос на компактные, высокоэффективные конструкции контактов и поддержку трехфазного и высоковольтного постоянного тока.
Эти изменения происходят на фоне прогнозов о том, что к 2030 году на центры обработки данных может приходиться 8% от общего потребления электроэнергии в США, что подчеркивает, насколько важно, чтобы оборудование для подачи электроэнергии соответствовало быстро растущим потребностям в энергии.
По мере того, как системы прямого подключения к микросхеме и погружения становятся все более распространенными, разъемам потребуются материалы и способы герметизации, которые сохраняют стабильность в диэлектрических жидкостях и надежность во все более сложных термических и химических условиях».