Россия — страна климатических крайностей: от −60°C в Норильске до +55°C в Астраханской степи, от влажных субтропиков Краснодарского края до пыльных промышленных зон Кузбасса. Традиционные дата-центры проектируются под «тепличные» условия: стабильная температура, чистый воздух, надёжное электроснабжение. Но бизнес работает там, где есть ресурсы и производство, а не там, где удобно серверам.
Модульные дата-центры появились, в том числе, как ответ на этот вызов. Разберём, как они справляются с тремя главными врагами ИT-оборудования: экстремальным холодом, жарой и промышленной пылью.
Мороз
Перегрев изнашивает железо, а низкие температуры, наоборот, должны помогать охлаждению. Но на практике всё сложнее.
При температуре ниже −20°C возникает целый ряд специфических рисков. Образующийся конденсат опасен для оборудования, и вот почему: когда холодный воздух попадает в тёплое серверное помещение, он резко меняет температуру, и влага оседает на платах и контактах, что может вывести сервер из строя.
Кроме того, при сильных морозах деградируют аккумуляторные батареи ИБП. Ёмкость свинцово-кислотных АКБ при −30°C падает до 30–40% от номинального значения, и при отключении внешнего питания система резервного электроснабжения попросту не продержится расчётное время. Гидравлические системы охлаждения при экстремальном морозе требуют специальных антифризов и подогрева трубопроводов, иначе велик риск разрыва контуров.
Видеокамеры, светильники и прочее оборудование, монтируемое на МЦОД внутри должно быть выполнено в особом исполнении.
Как это решается в модульных ЦОД ART Engineering
Грамотно спроектированный МЦОД для Севера имеет многоуровневую тепловую защиту. Мы уже подробно разбирали все инженерные решения для холодного климата в нашей статье «Как мобильные ЦОДы работают без перебоев в условиях русской зимы». Остановимся на ключевых решениях.
Для изготовления несущих конструкций ART Engineering применяет сталь марки 09Г2С, которая сохраняет форму при температурах до −70°C и не теряет прочностных характеристик при постоянных термических перепадах. Корпус модуля — утеплитель увеличенной толщины (до 200 мм) по всему объёму: стенам, полу и потолку. Двери оснащаются двойным промышленным контуром уплотнения, терморазрывом и обогревом дверной коробки, что полностью исключает образование конденсата на входных узлах.
Все воздуховоды оснащаются электрическими клапанами с подогревом, которые предотвращают попадание морозного воздуха напрямую на оборудование. Системы вентиляции работают по принципу смешения: наружный воздух сначала смешивается с тёплым внутренним, прежде чем попасть в зону серверных стоек. Это позволяет использовать «бесплатное охлаждение» (фрикулинг) при низких температурах снаружи без риска для оборудования.
Аккумуляторные батареи размещаются в отапливаемых отсеках с собственной системой термостабилизации. Для поддержания оптимального уровня влажности в машзале в зимний период, когда отопление сильно сушит воздух, применяется система пароувлажнения замкнутого цикла. Кондиционеры устанавливаются с заводскими низкотемпературными комплектами. Так они эффективно работают даже при сильных морозах и обеспечивают не только охлаждение, но и поддержание нужного температурного режима.
Весной и осенью предусмотрен подогрев дренажного трубопровода, что предотвращает замерзание систем водоотведения в переходный сезон. Даже уличные светильники и розетки разработаны специально для работы при низких температурах.
На нефтяных месторождениях и золотодобывающих приисках Западной Сибири модульные ЦОД ART Engineering работают в таких условиях годами без перегрева и промерзания.
Жара
Если мороз — это история про Север и промышленные объекты, то жара актуальна для куда более широкой географии. Центральная Азия, юг России, объекты под открытым небом в регионах с жарким летом — всё это реальные условия эксплуатации для многих заказчиков.
Что происходит при сильной жаре
Серверное оборудование генерирует огромное количество тепла само по себе. В среднем на сегодняшний день серверная стойка выделяет 10-20 кВт тепла. При температуре на улице +40°C и выше традиционные системы охлаждения перестают справляться. Они просто не могут отвести тепло туда, где его ещё больше.
Критическая температура для большинства серверного оборудования — +35°C в зоне воздухозаборника. Превышение этого порога запускает цепочку негативных событий: процессоры начинают снижать производительность, вентиляторы выходят на максимальные обороты и изнашиваются, жёсткие диски и SSD выходят из строя быстрее. При длительном перегреве оборудование отказывает полностью.
Для объектов под открытым небом прямое воздействие солнца на металлический корпус модуля может поднять температуру поверхности до +70–80°C, что создаёт дополнительную тепловую нагрузку на системы охлаждения.
Как это решается в модульных ЦОД
Для жаркого климата применяется комплекс решений. Во-первых, корпус модуля оснащается дополнительной теплоизоляцией, снижающей влияние солнечного нагрева. Во-вторых, системы кондиционирования подбираются с запасом по мощности на пиковые значения конкретного региона с учётом +10°C сверху как проектного резерва.
В высоконагруженных конфигурациях применяется прецизионное охлаждение с фреоновыми чиллерами или системами адиабатического охлаждения. Но при плотности нагрузки свыше 20–30 кВт на стойку воздух как теплоноситель достигает физических пределов, и здесь на смену ему приходит жидкость. Теплоёмкость воды принципиально выше: для нагрева 1 м³ воды на 1°C требуется в 3 500 раз больше энергии, чем для того же объёма воздуха. Это означает, что жидкость отводит тепло намного эффективнее.
Именно на этом принципе построен ART DLC (Direct Liquid Cooling), решение ART Engineering для высоконагруженных МЦОД. В линейке ART Engineering уже есть МЦОД с нагрузкой до 100 кВт на стойку. Тепло передаётся напрямую от процессоров и GPU в жидкий контур, минуя воздух. Это снижает нагрузку на кондиционирование, уменьшает общее энергопотребление и позволяет стабильно работать при высоких температурах окружающей среды без риска для оборудования.
Пыль и агрессивная среда
Пыль — наименее очевидный, но один из самых коварных врагов серверного оборудования. На промышленных объектах она может состоять из взвеси металлической стружки, угольной или цементной пыли, химических реагентов. Такая среда убивает оборудование медленно, но верно.
Что происходит при высокой запыленности
Пыль оседает на вентиляторах и радиаторах процессоров, снижая их эффективность. На платах она образует проводящие дорожки между контактами, вызывая короткие замыкания. Металлическая и угольная пыль особенно опасна, поскольку обладает повышенной электропроводностью и абразивностью одновременно. В шахтах, на металлургических комбинатах и цементных заводах оборудование без специальной защиты выходит из строя в 3–5 раз быстрее, чем в нормальных условиях.
Агрессивная химическая среда не менее опасна. На нефтехимических предприятиях, в портах и прибрежных объектах атмосфера содержит коррозионно-активные вещества, такие как сероводород, хлориды, щелочи. Они разрушают контакты, окисляют металлические элементы и постепенно уничтожают схемы.
Как это решается в модульных ЦОД
Защита от пыли начинается с правильно организованного воздушного потока. Все воздухозаборники оснащаются многоступенчатыми фильтрами от грубой очистки до тонкой фильтрации класса F7–F9. На особо запылённых объектах применяются герметичные модули с замкнутым контуром охлаждения: наружный воздух вообще не попадает внутрь, а отвод тепла осуществляется через теплообменники. Это полностью исключает контакт оборудования с промышленной атмосферой.
Корпуса модулей для агрессивных сред изготавливаются из нержавеющей стали и покрываются специальными антикоррозионными составами. Внутренние металлоконструкции также обрабатываются порошковыми покрытиями с повышенной стойкостью к химическим воздействиям. Для прибрежных и морских объектов степень защиты корпуса составляет не менее IP55, а в ряде проектов — IP65 и выше.
Мониторинг как основа надёжности
В экстремальных условиях недостаточно просто правильно спроектировать модуль, ещё нужно обеспечить непрерывный контроль за его состоянием. Серьёзная авария почти никогда не начинается с отказа всего объекта. Чаще всего ей предшествует отклонение, которое сначала кажется локальным: перегрев в одной зоне, нестабильная нагрузка на фазе, сбой в кондиционировании. Если система замечает это сразу, то у команды есть время на реакцию до того, как ситуация перейдёт в инцидент.
Для удалённых и промышленных объектов это особенно критично: привлечь дежурную смену на площадку быстро не всегда возможно.
В модульных ЦОД ART Modular производства ART Engineering система АСДУ (автоматическая система диспетчеризации и управления) строится как автономный контур с собственным питанием и удалённым доступом. Она контролирует температуру и влажность во всех помещениях, параметры электросети на вводе и выходе, состояние ИБП, кондиционирования, систем пожаротушения и контроля доступа. Все события фиксируются в журнале с глубиной архива не менее 12 месяцев.
При отклонении любого параметра система автоматически оповещает ответственных сотрудников через мессенджеры или e-mail. Если проблема не устранена в установленное время, уведомление передаётся на следующий уровень ответственности. Одна команда в таком режиме может контролировать сразу несколько территориально распределённых объектов без постоянного присутствия персонала на каждом из них.
Надёжность там, где это сложнее всего
Экстремальные условия эксплуатации — это инженерная задача, которую успешно решают специалисты ART Engineering. Наши модульные дата-центры работают в диапазоне температур от –60°C до +55°C. Инженеры ART Engineering проектируют ЦОД с учётом конкретного климата и производственной среды, что обеспечивает надёжность системы даже в экстремальных условиях.
Оставьте заявку на нашем сайте, и наши специалисты проконсультируют вас по любому интересующему вас вопросу.