Сегодня отправимся гулять по самому большому коммерческому дата-центру в России — NORD-4. По пути расскажем, как все устроено в дата-центре Tier III.
NORD-4 занимает отдельное четырехэтажное здание общей площадью 11 700 кв.м. 8 машинных залов вмещают 2016 стоек. Общая мощность дата-центра 18 МВт.
NORD-4 планировалось вводить в эксплуатацию поэтапно, поэтому дата-центр спроектирован так, чтобы монтаж и пусконаладка новых очередей не мешали работе уже запущенных залов.
В июне 2015 проект NORD-4 прошел сертификацию Uptime Institute по стандарту TIER III Design, а в феврале 2016 мы сертифицировали уже готовый объект (TIER III Facility).
Физическая безопасность
На входе в дата-центр нас встречает круглосуточный пост охраны. NORD-4 — режимный объект, поэтому попасть внутрь можно только по удостоверению личности и заявке на пропуск от сотрудника дата-центра. А еще — записавшись на экскурсию на сайте DataLine :)
Все помещения и территория дата-центра просматриваются через камеры внутреннего и наружного наблюдения. Картинка о происходящем в NORD-4 круглосуточно транслируется на мониторы охраны. Все видео записываются и хранятся 3 месяца на случай, если потребуется воспроизвести события дней минувших.
В дата-центр можно попасть только через специальный отсек — шлюз. Эта своего рода двойное заграждение для того, чтобы в ЦОД не попал человек без пропуска. Работает шлюз так: посетитель прикладывает пропуск к считывателю СКУД (система контроля и управления доступом), заходит в шлюз и закрывает за собой дверь. После этого повторяет все те же действия со второй дверью, ведущей в дата-центр. Если в шлюзе каким-то образом оказывается человек без пропуска, то охрана блокирует его, и вторая дверь не открывается.
Машинные залы
Каждый машинный зал находится в отдельном контейнере, со своей крышей и стенами. Эти внутренние здания называются гермозонами. Они защищают от протечек, попадания пыли в машинные залы, обеспечивают нужную степень огнестойкости.
При сдаче дата-центра служба эксплуатации щедро проливает крышу гермозоны водой и проверяет на предмет протечек. Для этого испытания и реальных потопов, у гермозоны даже предусмотрены водосточные трубы.
Каждый машинный зал занимает площадь 500 кв. м и вмещает 252 стойки.
Все стойки с оборудованием устанавливаются на фальшпол высотой 800 мм. Основная функция фальшпола — подвод холодного воздуха к стойкам. Под фальшполом расположены шинопроводы, по которым подводится электричество к стойкам, датчики протечки и задымления, распылители огнетушащего вещества.
Второй комплект датчиков задымления и распылителей огнетушащего вещества находится под потолком зала. Красные трубы — это система раннего пожарообнаружения (VESDA). Она постоянно “нюхает” воздух и фиксирует малейшее задымление.
Там же находятся динамики для оповещения об эвакуации на случай пожара.
В случае пожара через желтые трубы на потолке в машинные залы подается огнетушащее вещество Novec.
В начале и в конце каждого ряда стоек на лотках СКС установлены камеры видеонаблюдения. Отдельные 2 камеры фиксируют, кто заходит и выходит из зала.
Если заказчикам нужен дополнительный периметр физической защиты, то их стойки можно поместить в специальные клетки — кейджи. В кейдж устанавливается свой СКУД. Системы идентификации могут быть разными: считыватель магнитных карт, отпечатков пальцев, сетчатки глаза. Внутри можно повесить дополнительные камеры видеонаблюдения, датчики объема и движения.
Энергоснабжение
В дата-центре 4 независимых энергоцентра. В каждом энергоцентре по 2 ввода от городской электросети, 2 понижающих трансформатора, 4 дизель-генератора (ДГУ) и 11 источников бесперебойного питания (ИБП). Каждый энергоцентр питает по 2 машинных зала (всего их 8) и установленное в них инженерное оборудование.
Ко всему критическому инженерному оборудованию подведены два луча электропитания. Все вычислительное оборудование подключается к двум независимым лучам через источники бесперебойного питания (ИБП).
Если пропадет городское питание, то ИБП автоматически переводит свою нагрузку на аккумуляторные батареи. В это же время система автоматики дает команду на запуск ДГУ. Им нужно около минуты для выхода на рабочую мощность, после чего дата-центр начинает питаться от ДГУ, а не от аккумуляторных батарей. Время автономной работы на батареях при полной нагрузке — 15 минут.
Так выглядят аккумуляторные батареи, за счет которых ИБП питают весь ЦОД, пока заводятся ДГУ.
В NORD-4 мы используем ДГУ FG Wilson мощностью 1750 кВт. Резервирование N+1: для работы одного энергоцентра достаточно трех ДГУ, один резервный.
На территории NORD-4 организовано подземное топливохранилище на 100 куб. м. Из него топливо автоматически доливается в расходные баки ДГУ. На собственных запасах без питания от города дата-центр может проработать более суток.
Каждые две недели мы тестируем систему энергоснабжения: на 1 час отключаем один луч питания и проверяем работу ДГУ, автоматики, ИБП, системы мониторинга и подготовку дежурных инженеров.
Холодоснабжение
В NORD-4 мы остановились на чиллерной схеме (чиллер буквально означает “охлаждающая машина”) на этиленгликоле и воде. В машинных залах и энергоцентрах располагаются внутренние блоки кондиционеров, на крыше работают чиллеры, на техническом этаже находятся система автоматики и управления, теплообменники, насосы водяного контура, баки-аккумуляторы.
Если этиленгликоль теплее, чем наружный воздух, то система охлаждения отводит ненужное тепло без включения компрессоров. Такой режим естественного охлаждения за счет “улицы” называется фрикулингом (free cooling). NORD-4 переходит на полный фрикулинг, когда на улице +13°С и ниже, а в режим частичного фрикулинга при температуре от +14 до +20°С.
С фрикулингом электропитание системы холодоснабжения обходится гораздо дешевле: когда компрессоры кондиционеров выключены, электричество расходуют только вентиляторы и насосы. Экономится до 85% электричества.
На крыше NORD-4 установлено 14 чиллеров марки Stulz CyberCool-2.
Каждый машинный зал NORD-4 охлаждают 14 кондиционеров марки Stulz. Если есть желание заглянуть внутрь кондиционера, кликайте сюда.
Из кондиционера охлажденный воздух поступает под фальшпол и через перфорированные плитки фальшпола попадает в холодный коридор. Оттуда холодный воздух забирается оборудованием. Теплый воздух выдувается из оборудования в горячий коридор и снова возвращается в кондиционер. Такая схема называется “холодные и горячие коридоры”.
В холодном коридоре поддерживается температура 25°С (± 2), в горячем — на 10-15 градусов выше. Влажность — 30-70%.
Вот так движется холодный и горячий воздух в машинном зале, устроенному по принципу “холодного и горячего коридоров”.
Один из холодных коридоров зала Whiskey.
Все компоненты холодоснабжения зарезервированы по схеме N+1 или N+2: любой чиллер, кондиционер, насос, теплообменник, трубопровод можно отключить для ремонта или сервисного обслуживания без перерыва в работе всей системы.
Пожарная безопасность
На 1 этаже NORD-4 располагается станция пожаротушения с баллонами с Novec. Это вещество при распылении оставляет сухими оборудование и даже бумагу. Из-за этого свойства Novec называют еще “сухой водой”. Некоторые умельцы приспособили это вещество для жидкостного охлаждения серверов.
Система автоматическая, но мы ее эксплуатируем в полуручном режиме: автоматика срабатывает только, когда из помещений, затронутых огнем, эвакуированы люди. При возникновении задымления срабатывает датчик, который посылает сигнал на пост охраны с указанием места возгорания. Чтобы исключить подачу Novec по ложному срабатыванию, охранник проверяет проблемное помещение. В это же время во всех помещениях ЦОДа начинает завывать сирена, призывающая всех эвакуироваться из дата-центра. На время эвакуации СКУД на всех дверях отключается, чтобы люди могли быстро покинуть здание.
Если возгорание все-таки есть, охранник проверяет, не осталось ли внутри людей, закрывает дверь в помещение и включает автоматику. Через 45 секунд в помещение начинает поступать Novec. Через 2-3 минуты уже два охранника в противогазах (один заходит в зал, другой страхует на входе) проверяют, удалось ли ликвидировать пожар.
По этим трубам Novec устремляется в машинные залы и инженерные помещения. Система пожаротушения зарезервирована по схеме 2N.
Центр мониторинга
Вся информация о состоянии инженерной инфраструктуры дата-центров собирается в единую систему мониторинга. В каждом ЦОДе есть оперативный центр управления с видеостеной, куда выводится подробная информация по данному дата-центру в виде наглядных схем, таблиц и графиков.
В оперативном центре управления дата-центра круглосуточно работает дежурная смена инженеров. В любой момент времени за видеостеной находится как минимум один инженер. Дежурные отслеживают основные показатели жизнедеятельности ЦОД, работают с клиентскими и инфраструктурными инцидентами.
В NORD-4 мы мониторим 1785 объектов и 15 200 параметров инженерной инфраструктуры. Вот основные:
Состояние оборудования (включено/выключено, наличие ошибок, загрузка, рабочие параметры): кондиционеры, чиллеры, щиты управления, насосы, ДГУ, ИБП, аккумуляторные батареи, датчики протечек и т.д.
Климатические условия: температура и влажность в машинных залах и инфраструктурных объектах, датчики протечек, температура гликоля.
На территории площадки NORD работает даже своя метеостанция. Собираемая статистика по метеоусловиям помогает нам прогнозировать нагрузку на систему холодоснабжения.
Энергоснабжение (напряжение, токи, частота, мощность на анализаторах тока): вводы, главные и промежуточные распределительные щиты, АВР и PDU в стойках.
Физическая безопасность: СКУД, наружные и внутренние камеры видеонаблюдения.
На видеостену в центре мониторинга выводятся ключевые параметры, определяющие работоспособность дата-центра. Все остальные данные остаются в единой системе мониторинга и попадают на специальный монитор видеостены только в случае неполадок.
Помимо автоматизированного мониторинга, два раза в день дежурные инженеры обходят все машинные залы и инфраструктурные объекты с электронными чек-листами. Во время обхода они заводят инциденты на некорректно подключенное оборудование или неправильно проложенную кроссировку, которые потом в виде отчетов улетают следующей смене.
Удобства для эксплуатации
Напоследок важные мелочи, которые добавляют комфорта при работе в NORD-4.
Зона разгрузки. Все оборудование попадает в дата-центр через специальный отсек. Подъемный стол помогает разгружать коробки с оборудованием с грузового транспорта любой высоты.
Для транспортировки оборудования в машинные залы на 2 и 3 этажи предусмотрены 2 грузовых лифта на 5 тонн.
На этажах с машинными залами установлены шкафчики, закрывающиеся на ключ, для хранения клиентских инструментов, запчастей и других мелочей. Это дает возможность клиентам удобно хранить свои сокровища, не используя для этого стойки.
Мы посмотрели все основные инфраструктурные объекты дата-центра NORD-4. Задавайте вопросы в комментариях, если хочется больше подробностей. Увидеть работающий дата-центр и узнать больше об эксплуатации дата-центра можно на экскурсии по NORD-4.
