Иммерсия — это погружение. Погружение в физику не дам, конечно — скорее, в жизнь.
Технику можно охлаждать воздухом, но его теплопроводность оставлять желать лучшего, поэтому требуется быстро и мощно продувать им. Когда на вход ДатаЦентра залетает воздух под +40°С, то воздуха надо 300-400 м³/ч на каждый кВт мощности, это 5,5 кубов в минуту или ~100 литров воздуха в секунду... Мини-ЦОД на один МегаВатт ест (соответственно) их сотнями тысяч в час. Вобщем, много, чипам горячо и, чтобы они не болели, температуру надо сбивать!
Bitfury, что владели когда-то аж 60% сети Bitcoin, имели ЦОДы с воздушным охлаждением в сильно отмороженных странах (Финляндия, Исландия, со мной стартовали выход в Норвегию и Канаду), но что делать с Катаром? Или другими сверх-жаркими странами, ведь даже в той же Грузии, в Тбилиси, всё лето с 8 утра до 8 вечера +40° в тени. Адиабатика нам в помощь — решили коллеги в Тбилиси и выкопали бассейн, залили его холодной водой и начали из него прокапывать перед входным потоком воздуха, но... Теперь, помимо P.U.E., показателя расхода дополнительной энергии в довесок к серверам, добавился W.U.E., показатель, сколько воды в год расходует ЦОД.
А в Гугл в финской Хамине адиабатика вкупе с заливом и переменчивой погодой и вовсе сыграла злую шутку — зашёл морской туман и выжег несколько десятков МВт серверов... Мы об этом узнали от поставщика блоков питания, который отказывал нам в партиях и ставил в очередь на отдалённые кварталы, но вдруг согласился поставить нам 25 тысяч блоков по 3,2 кВт каждый.
И тут под руку команде попалось решение от Allied Control, которое, вместе с гонконгской лавкой, она и купила. Это была двухфазная система с жижей от 3M, Novec 7000. Охлаждение оборудования происходит в два этапа. Чипы нагреваются и выделяют тепло, жидкость Novec чипов закипает и превращается в пар, тот по технической системе летит вверх, охлаждается там и стекает вниз, замыкая всё в круг.
Кстати, про замыкания — абсолютно нейтральная к техническим и белковым организмам, жижа должна была быть "сухой водой", но вода с примесями очень даже проводит ток, и "сухая" не оказалась исключением. На платах не должно было быть никаких алюминиевых конденсаторов, бочонков — только Тантал, иначе первые постепенно вытекали, загрязняли жижу и давали ожидаемое КЗ с разрывом.
Команда из Киева, к которой я ездил на аудит, вообще создала 12-фазное решение по 600 Вольт постоянного тока и пыталась так запитывать иммерсионное цистерны с серверами. Цистерна по английски будет танк, а назначение решения — вычисления данных, так что прозвали их Дата-танками. И во время экспериментов с неудачным растворением различных материалов рванули один. Потом ещё один, ещё, ещё...
На четырнадцатом Дата-танке киевская команда, наконец, решила выпить фанты и тормознуть танк. В метро, когда тим-лид киевской команды слушал, сидя в метро, очередную голосовую исповедь инженера, взорвавшего десяток танков, пугал пассажиров (в современных реалиях вызывал бы или восхищение, или ненависть, смотря чьи танки).
У Bitfury были склады, заваленные мёртвыми блоками питания, ибо они были покупные и их делали на заказ. Самые обыкновенные, из серии CRPS, но попроще, от одного из ведущих вендоров — их окунали тоже в жижу, но в них были те самые конденсаторы, да и протекать сквозь плотные слои сухой воде без давления было сложновато...
С белковыми организмами тоже получилось интересно — жижа была безвредной "сухой водой", хоть пей её. Но одно дело пить, с другое — дышать. Температура кипения для точной смеси, выбранной для ЦОД, была +38°С, понимаете,что это значит?
Утечка очень горячей жижы, точнее пара, витающего в весьма тёплых зонах (ведь даже на улице в Тбилиси +40°С летом), угрожала находящемуся там персоналу. Ведь вот ты надышаться такими парами, в теле в лёгких пары охладились и растеклись в жидкость. Сухая вода, которой можно захлебнуться, что в воздухе...
В итоге грузинских техников в случае утечки отправляли чинить спуская их вниз головой... Дескать, чтобы сразу вытекала...
Альтернатива — это однофазка. Уходя из Битфьюри, я только в России познакомился с полутора десятками лавок различного разлива, предлагающих системы для иммерсионного охлаждения в ваннах с маслом. Минеральное трансформаторное масло, инертное и текучее, применялось тут и там. Мне притащили два контейнера с десятками бочек ZET-Dielectric-100.
Работало это извращение так — в масле варились материнки и GPU, насосы снаружи давили масляную жижу через трубы, в ваннах она стекала в другие трубки, улетала к радиаторам, у которых стояли бешеные роторы, воющие так, что по сравнению с ними фрикулинг тихо сопел в сторонке.
Не знаю, что было бо́льшим кошмаром — запускать его или эксплуатировать? Идея Заказчика, что приволок контейнер, была в том, чтобы засунуть туда самосборную конструкцию, она торчала вверх из ванн и не давала закрыть крышкой — в итоге жижа испарялась со скоростью микроны толщины плёнки в час, но сотни литров в год. В контейнере ты сразу же получал дозу, достаточную для бесконечного непрекращающегося кашля. А любой ремонт превращался в жидкий жирный ад, самый кошмарный круг которого поплыл в тот момент, когда ванны или трубки давали течь... Я уже молчу про то, что течь в системе — это остановка целого блока! А не одного вычислителя.
Там же масло! Когда контейнеры привезли и пытались собрать внешнюю часть с помощью трубных дел мастеров, инженер от поставщика пытался запустить вычисления, он окунал видеокарты с материнками в масло, включал, понимал, что не работает, вытаскивал и тащил чинить. Масло стекало по ногам на пол контейнера у ванн, на асфальт, растекалось по пути его хождений до мастерской и обратно.
Безвредная инертная жидкость! — уверял инженер — абсолютно безопасна!
Через пару часов от его ботинок остался лишь верх. Подошву разъело и он примотал верх обуви ногам красной изолентой — получилось нехрестоматийно, ибо не синей, наверное поэтому самодельную подошва снова разъело, а ноги стали такими же красными, как и остатки изолента на обуви.
Ну и вообще, если кто-то считает, что иммерсия — это легко, просто и надёжно, то наверное да, так и есть, но воздух будет гораздо более предсказуем. Но завлекательных реклам и статей "как всё круто получилось" будет предостаточно.
============
Подписывайтесь на канал - зарисовки выходят каждый день.
Ставьте лайк, если понравилось
#ЦОД
#Сервер
#Охлаждение
#Иммерсия