Что потребляет ЦОД (Центр Обработки Данных)? Электроэнергию (превращающуюся в тепло по большей части), холод и немного связи. Ну, ещё чуток нервов инженеров, когда он болеет (а болит у него что-нибудь всегда) и эмоций Заказчиков, недополучающих свои кровные данные или вычисления. Причём, замечу, что тепло и холод связаны более чем прямо.
С потреблением электроэнергии всё понятно, работают сервера, кушают электричество по цепочке, например такой — из распределительных щитов на 0,4 кВ, от КТП (Комплектных Трансформаторных Подстанций 10/0,4 кВ), РП (Распределительных Подстанций 10 кВ), ПС (подстанций 220/10 кВ), а там из АЭС/ГЭС/ТЭЦ/ШМЭЦ... Вобщем, ничего не понятно 😂
Но если просто о важном, то сервер потребляет (условно) как домашний отопитель, включённый сутками, неделями, месяцами и годами. Всегда. И даже летом. И тепло от сервера надо отводить, причём очень быстро, а если их в помещении стоит не один, а сотни и тысячи, то отводить надо не только быстро, но и много.
Классика жанра по охлаждению серверов в Дата Центре — это активный холод. Ставим кондиционирование и погнали дуть +22°С ± пара градусов, хотя замечу, что все сервера рассчитаны на режим до +35°С на входе. Ну и к кондиционированию добавится работа с влажностью — то осушить, то увлажнить, потом обратно... Минусы очевидны, ведь кондиционер потребляет электроэнергию, это как будто вы ставите дома отопители, чтобы грели, и кондиционеры, чтобы охлаждали нагретое — ну бред же, так? Но многие ЦОДо-делатели так не считают и упорно ставят кондиционеры для своих "отопителей", греют и охлаждают, греют и охлаждают... Потому что деды так делали и нам завещали.
В итоге в Дата Центре к основной статье OPEX (операционных затрат) потребления серверами энергии добавляется статья потребления энергии охладителями и появляется P.U.E. — Power Usage Efficiency, показатель эффективности вашего детища. Он показывает, сколько энергии вы тратите дополнительно к серверам на освещение, офисные развлечения, столовку и охлаждение. Страшно подумать, но в Москве (не в Дубае каком-нибудь), у весьма неэффективных площадок эти показатели в пике долетают до 1,75, а в среднем по году до полутора!
Кошмар, каждый условный сервер потребляет не киловатт, а полтора. Если вам кажется, что это немного, то на масштабах это становится катастрофой — у меня были ЦОДы по до 50 тысяч серверов, вместо 50 МВт будет 75. Всё равно непонятны масштабы? Ну пусть кВт/ч обходится в 4₽, тогда за 5 лет счётчик накрутит:
50'000*4₽*24ч*365дней*5лет = 9 млрд₽
А для P.U.E. в 1,5 добавятся ещё 4,5 миллиарда...
А можно жить с водой. Не "в" воде, а "под" водой, когда вместо воздушного охлаждения и вентиляторов ставишь трубки, подводить воду и погнали давить её внутрь, снимая тепло с элементов. С этим удовольствием я познакомился, когда выверенная мне команда Т-Платформ ваяла свой А-класс, ставший основой для Ломоносов-2 в МГУ. Это, конечно, явно тема для отдельного эпоса про разработку отечественных суперкомпьютеров (не путать с установкой в стойку чужих изделий, выполненной отвёрткой в Яндексе и Сбером).
Но тема с водой проблематична. Вода, как и воздух, постоянно куда-то убегает, только вот воздух можно затыкать прямо по месту, а попытка обслуживать сервера с водяным охлаждением сходна с ремонтом двигателя авто во время работы. А уж когда догадываются соединить медные трубки вводов с алюминиевыми радиаторами... Но тем и крута разработка, что команда проходит через тернии в ТОП-20.
Intel же ещё в 2006 году запустил freecooling — когда ты дуешь в сервер тем, что есть на улице. +42°С? Отлично! Правда, есть нюанс, что классические сервера на такое не рассчитаны, тем более жить в любой влажности (А4 на картинке повыше), и Дата Центры Intel (а у них есть свои, для личных нужд) уже два десятка живут на собственных серверах (и собственных процессорах, что очевидно), созданных под эти требования.
Следом пошёл Google, у которого тоже свои ЦОДы, сервера своей разработки и собственные серверные процессоры (да, на чужой проприетарной архитектуре). С 2017 года в этот "холодный", но горячий воздух погрузился и я. В Грузии всё лето на улице с 9 до 21 +40°С в тени, а техники ходят все в соплях, потому что через них в "холодном" коридоре постоянно дует ветер со скоростью до 10 м/с. Вой стоит такой, что спец.наушники не спасают, надо ещё вовнутрь уха вставлять затычки или в-ушники с музыкой.
Вот тут-то Bitfury и запустили иммерсию — погружное охлаждение, а мне сдали украинцев, ваяющих следующее поколение этой технологии, взорвавших по дороге 14 дата-танков (это и тогда звучало напряжённо, а в нынешних реалиях звучит и вовсе на грани фола, но нет, у них разрывались мини-цистерны с вычислителями). Идея была в zero-maintenance, в отсутствии надобности эксплуатации, которую Bitfury остро почуял в Исландии, где дармовая электроэнергия от гейзеров растворяется в астрономических зарплатах местных светловолосых аборигенов-островитян.
А уж в условном Катаре фрикулинг и вовсе будет тяжёл, +55° на вход сервера, для его охлаждения подавать не особо интересная затея.
А в уже весьма (для компьютеров) далёком 2011 году появился OCP, OpenComputeProject, рождённый в недрах Фейсбука и подхваченный почти всеми — отличная тема, если реализовывать с умом...
Так что же выбрать и как работает каждая технология? Я опишу каждое решение, с реализациями, отдельно. Отличные и идиотские, взрывающиеся и протекающие, живущие многие годы в экстремальных условиях со 100% утилизацией — разные, вобщем.
============
Подписывайтесь на канал - зарисовки выходят каждый день.
Ставьте лайк, если понравилось
#ЦОД
#Сервер
#Охлаждение