Первый ЦОД, Центр Обработки Данных, на фрикулинге, что мне довелось создавать и запускать, работал в Технополисе — домик в домике, фактически. Соучредитель партнёрской площадки тогда ходил вокруг меня и мобильного Дата Центра и всё причитал — Это не будет работать, всё сгорит, всё плохо, мы пробовали, у нас не получилось, мы все тут умрём — и далее в том же духе, да по кругу.
Так что ж такое фрикулинг и что могло бы пойти не так?
Пока бо́льшая часть холодостроителей возводит кондиционеры для охлаждения серверов, самые умные (а точнее, жмотные) охлаждают сервера тем, что есть на улице. Пробовали когда-нибудь ехать в жаркой стране, за 40°С на байке? Думаешь, что сейчас охладишься (в Тайланде вон многие местные на скутерах катаются вообще в пуховиках, +32°С и ветрено, боятся простыть и сгореть одновременно), а на самом деле ощущения как в сауне с профессиональным банщиком, что машет простыней и обдаёт тебя раскалённым воздухом сверху вниз.
Вот таким вот воздухом при фрикулинге есть немалый шанс охлаждать сервера, но... Плохо ли это? Разбираю на живых примерах.
Сервер с воздушным охлаждением имеет в составе вентиляторы, через которые железо контактирует с внешней средой — от них интересует:
- поток воздуха, в м³/ч, CFM (фт³/мин) — ну тут всё просто, считайте теплосъём с внутренних элементов и моделируйте на температуре входного воздуха;
- потребление энергии в зависимости от Duty Cycle;
- давление создаваемого напора воздуха — тут сложнее; напор надо делать как можно меньше, чтобы эта не участвующая в вычислениях система не жрала как не в себя энергию, и как можно больше, чтобы продавить воздух внутрь; чем плотнее и неудачнее забит сервер внутри, перекрывая элементами все коридоры воздуха, тем сильнее придётся давить.
Воздух снимает тепло с чипов, но балансир идёт по худшей точке. Но вот как определить худшую точку? На чипе GPU отсечка (полное отключение) может быть +89°С, троттлинг с 85°С, а на чипах памяти в той же GPU — 105°C. Понятно, что при 85 градусах и на памяти и на процессоре схема нерабочая, поэтому вентиляторы или крутят либо в целевую температуру, либо в целевые обороты, а потом поднимают свои обороты пока есть возможность, а дальше ну уж как пойдёт.
Яндекс строил свои ЦОДы на фрикулинге под влиянием опыта Гугла. ЦОД в Мянтсяля, что в Финляндии, задумывался как обогреватель этой местной общины на пару десятков тысяч человек (сейчас активы арестованы, ЦОД переводили на дизель, как говорится, отморозив финские уши назло русским медведям). Когда его строили, возводив быстровозводимый каркас, немного не учли про перепад давления — а для фрикулинга это основная проблемная характеристика — и при первом включении стены буквально начало засасывать друг к другу.
Происходит это из-за того, что сервера потребляют действительно большой объём воздуха при температурах +25°С и выше, доходит до 400 тысяч м³/ч на 1 МВт потребляемой энергии, а проём в стене, заполненный фильтрующим материалом, недостаточен (например, его просто негде взять, или мешают конструкции, да и фильтры забиваются). И фильтры забиваются быстро — то одуванчики, то тополя, то снова одуванчики, потом пыль, потом урожай собирают. по весне пашут... Вобщем, чисто, чисто, чисто и внезапно грязно. Один Заказчик как-то привёз такой мини-ЦОД с территории ТЭЦ, так фильтры были забиты грязью и сажей поверх слоем на несколько сантиметров.
Наш запуск в Канаде показал, помимо бесконечных харвестов и посевов, что ради удовольствия местного фермера попытка поставить глушители (82 дБ, на минуточку) привели к ещё большему перепаду давления между улицей и горячим коридором в ЦОДе, аж в 90Па — настолько много, что в контейнер через дверь вас, по ощущениям, всасывало. Вместе с оборудованием.
Из дополнительных проблем от перепада давления выскочило то, что блоки питания, рассчитанные на работу в условиях до +70°С на входе, выгорали, хотя всего-то было +35. Почему? Да потому что злые роторные вентиляторы серверов забирали ВЕСЬ воздух, и маленьким дохленьким фанам на БП их просто не хватало, те захлёбывались и у...бывались.
Ну и сами сервера абы какие для фрикулинга не подойдут. Что зарубежные правила, что отечественные ГОСТы на вычтех (а у нас с 31 декабря 2024 года действует свежий стандарт) определяют для массы серверов +35°С на входе. Думаете, этого достаточно? О нет! Я сделал как-то такой анализ — глянут в Саратове (там фрикулинг как раз собирались) максимальные дневные температуры за 10 лет, писали, что и 40°С нет. Ок, глянул в Липецке, где у меня были ЦОДы — та же ситуация, НО! Градусник два или три лета подряд стабильно показывал в тени +42°С в течение двух недель, где-то в августе как раз. Из ЦОДов выплывал настоящий кумар, будто в них сталь плавили.
К чему я — да к тому, что в средней полосе России фрикулинг подойдёт, если вы рассчитываете на постоянную нагрузку на 100% и +45°С на входе.
Ради чего это всё затевалось? Ради лучшей эффективности. Я сидел напротив лидера по инфраструктуре Яндекса и мы с ним как-то незаметно перешли к теме "померяться" у кого круче (чем меньше, тем лучше). У меня показатель P.U.E. был 1,005 в лу,шей точке и 1.025 средний по году (т.е. 2,5% тратилось сверх серверов), а у Яндекса 1.06, но если считать по всей линии от 220 кВ подстанции, со всеми потерями на трансформаторах и кабелях. Но мне показалось, что Короленко это тогда задело, всё же...
============
Подписывайтесь на канал - зарисовки выходят каждый день.
Ставьте лайк, если понравилось
#ЦОД
#Сервер
#Охлаждение
#Фрикулинг