Как устроен датацентр.

Репортаж о том как устроен ЦОД - центр обработки данных. Как он устроен и как работает, да и вообще зачем он нужен.

Как-то раз мне посчастливилось побывать в Центре обработки данных. По простому - ЦОД. ЦОД принадлежит группе компаний Linx. ГК Linx - международный поставщик услуг в сфере хранения и обработки данных, телекоммуникационных услуг и облачных решений. Работает в Центральной и Восточной Европе, России, странах СНГ, Балтии, Скандинавии. В 2013 году группа компаний Linx запустила на российский рынок интегрированное комплексное облачное решение LinxCloud построенное на безопасной многопользовательской архитектуре FlexPod от NetApp, Cisco и VMware. Платформа LinxCloud размещается в ЦОД Linxdatacenter оборудованных по последнему слову техники и стратегически расположенных в Москве, Санкт-Петербурге, Таллине и Варшаве. Они образуют единый технологический комплекс и построены в соответствии с международными стандартами, имеют высокоскоростную сеть, устойчивую систему энергоснабжения, а так же гарантируют надежность и безопасность предоставляемых услуг.
Московский ЦОД компании был открыт 15 лет назад и стал первым коммерческим Центром обработки данных в столице.
официальная часть закончена можно идти на банкет :)

Собственно причина приглашения заключалась в том, что в 2014 году датацентр начал глобальную модернизацию своих мощностей и вот на днях её завершил, решив это дело не тихарить, а осветить сиё событие при помощи журналистов, корреспондентов, ииии, конечно же блогеров (куда же без нас, время сейчас такое).

01. На входе более чем скромная вывеска, и скромный парадный вход, все правильно, а зачем такому предприятию фронтоны с колоннами и скачущими лошадями на крышах, вся сила этого учреждения она невидима, она внутри. К слову, этот ЦОД входит в топ-5 крупнейших российских дата-центров.

02. Как и положено для подобного рода мероприятий на входе регистрация посетителей-участников и выдача именных бейджиков.

03. Сразу же после регистрации участников было предложено откушать яств невиданных, да испить напитков ароматных. Всё вкусненько и красивенько, жаль было разрушать бутербродную идиллию, но канапушки были чрезвычайно аппетитными и сами просились в рот. За цвет не пугайтесь, освещение в зале было весьма специфичным и фотоаппарат сходил с ума в поисках баланса белого, так и не найдя его, тяжело вздыхая, поднимал затвор, мол я сниму, а ты, хозиян, потом парься в фотошопе.

04.  Пропуск в мир многобайтов*, кстати его потом у нас отобрали, чтобы мы пройдя квест благополучно их себе вернули. I am visitor!

05. После того как все наконец наелись собрались, с приветственным словом перед нами выступил директор ЦОДа Андрей Перекрест. О кратенько рассказал, что в результате модернизации, которая длилась два года, емкость центра увеличилась до 620 стоек (раньше было 350) и площадь занимаемая оборудованием увеличилась с 2500 до 4250 квадратных метров. И теперь, после модернизации, энергетические аппетиты центра выросли до 5 мегавольампер.  Вложенные инвестиции составили порядка 10 000 000 евро.

06. Затем нам выдали наушнички, это чтобы лучше слышать, да и директору орать как-то негоже, есть же технические средства и надо ими пользоваться. Первым делом нам показали охладительные мощности.

07. Думаю, что не надо объяснять, чтобы успешно рассеять в пространство пять мегавольтампер электричества нужно их успешно превратить в тепло. Разумеется любая современная электронная техника требует серьезного охлаждения. Стена здания просто усеяна блоками промышленных кондиционеров. Десятки пауков-вентиляторов жадно присосались к радиаторам и требуют новых гигакалорий тепла.

08. Но кроме настенных блоков оборудование охлаждают сухие градирни (чиллеры). Но и это еще не все, в случае глобального ... сами понимаете чего... как последний рубеж обороны существуют аварийные запасы воды, которая позволит охлаждать работающее оборудование. Как видите вопросу охлаждения здесь уделено первейшее внимание.  Ведь даже если будет электропитание, которое собственно позволяет работать оборудованию, но не будет охлаждения, то вся электронная начинка стоящая многие миллионы евриков просто проработает несколько минут и сгоревши превратится в металлолом содержащий килограммы драгметаллов.

09. Режим работы ЦОДа 24/7/365 и никакой другой, если же случится перебой, то клиенты в следующую минуту побегут как тараканы от нависшего тапка. Непрерывноть работы центра - показатель №1, и этим всё сказано. Не менее  важная система резервирования, это система аварийного обеспечения электроэнергией. Хоть ЦОД параллельно запитан от разных подстанций Москвы, имеет несколько независимых фидеров, что снижет вероятность отключения электропитания до минимума, но все мы прекрасно помним ... о нём, сами знаете о чем, например как-то в далекой Америке в шестидесятые годы случился именно он, тогда осталось без света более семи штатов и 25 миллионов человек ... на этот самый случай ЦОД имеет парк мощных дизель-генераторов, мощность каждого генератора не помню, но ооочень много, вон видите какая труба наверху! Генераторы всегда готовы к работе и в случае чего запускаются автоматически никого не спрашивая. По словам директора они еще ни разу не включались, ну разумеется кроме проверочных запусков.

10. Ну а теперь заглянем внутрь. Вводные устройства и блоки бесперебойного питания, трансформаторы. Система электропитания Linxdatacenter построена таким образом, чтобы обеспечить надежное резервное копирование всех ключевых элементов. С этой целью используется четыре трансформатора мощностью 1600 кВа каждый (кВа - киловольтампер, единица мощности промышленных трансформаторов). Все тихо, светло и чисто. Современное электрооборудование выглядит не таким устрашающим как раньше. Дисплейчик, кнопочки, никаких гигантских рубильников, которые могут включить сообща только три электрика, может оно конечно там, внутрях, оно и есть, но нам показали только вот это.

11. Далее по плану экскурсии нам показали станцию пожаротушения.

12. Красиво, нарядно, ярко! Баллончики как игрушечки, в этих игрушечках сидит газовое огнетушащее вещество (ГОТВ) под давленьицем 50 атмосфер, простым языком на квадратный сантиметр это вещество давит с силой в шестьдесят килограмм. Вот и представьте, что происходит, когда система вступает в работу, по рассказам очевидцев с других ЦОДов струя в щепки разносит всякие легкие конструкции в виде подвесных потолков, всяких полочек и прочей мелочи. Но даже в случае срабатывания противопожарной системы из строя выходит только сгоревший блок, остальное оборудование, щедро политое этим ГОТВом продолжает нести свою трудовую электронную вахту, а всё потому что состав не проводит электричество. В баллонах находится самый современный и перспективный состав ФК-5-1-12, бесцветная жидкость при нормальных условиях. Имеет высокую молекулярную массу. У продукта очень высокая теплота испарения 88.1 кДж/кг и низкое давления пара. Температура кипения +49°С. Критическая температура 380°С. ФК-5-1-12 не вызывает коррозии, обладает высокими диэлектрическими свойствами, не смачивает чувствительные к влаге материалы и быстро испаряется, поэтому не наносит ущерба материальным ценностям, таким как чувствительное электронное оборудование, архивные материалы на любых носителях и т.д.

13. При модернизации этого ЦОДа был немало уделено внимания таким, казалось бы, мелочам как помещение для хранения ЗИПов заказчиков. У каждого заказчика своя полочка или стеллажик с необходимыми ему  инструментами и запасными частями. Вот казалось бы, мелочь, а клиент обратит внимание на это удобство. Или даже взять наличие стремянок, если их в ЦОДе нет, то клиенту Ингода приходится каждый раз таскать свою, что не есть удобно. Как вы думаете клиент какой ЦОД выберет? Где есть всё необходимое для твоей комфортной работы, или тот куда нужно тащить свою лестницу, все свои пассатижи и где бабка-лифтерша работает только по рабочим дням с 9 до18 и ты стокилограммовую циску в выходной день вынужден тащить на своем горбу на третий этаж?  Имидж компании складывается из таких вот мелочей, и к счастью здесь этим мелочам уделяют весьма пристальное внимание.

14. Ну а теперь, дискотека нас привели в святая святых - серверное помещение. Гуляя по ярким светлым коридорам глаза, попав в темноту, видят только тонкие цепочки светодиодных огней холодного и горячего воздушных контуров. Сверху пурпурный - теплый контур, по которому уходит горячий воздух, снизу подсвечены синим, вентилируемые фальшполы, через который подается охлажденный воздух.

15. Красиво?

16. Во за что люблю съемки в темноте, потому что картинка на выходе получается просто сюрреалистичная.

16. Пока народ гулял и слушал пояснения я нашел ближайшую лужу стеклянную панель и поснимал с отражением, как оно вам?

17. Под фальшполом живет целое вентиляционно-кабельное хозяйство! Картинка получилась просто огонь!

18. А за решеткой несут свою электронную вахту стойки с серверами, вот там и живут эти самые многобайты, жужжат, мигают разными светодиодами, их беспокоить нельзя. По пожеланиям заказчиков стойки иногда помещают за решетки, чтобы даже сотрудники датацентра не имели доступа к оборудованию заказчика.

19. Но все красивое и хорошее когда-то заканчивается, и закончилось оно у нас с моментом включения выключателя света. Помещение превратилось в строгую промышленную комнату с четкими линиями где все квадратно-гнездовое.

20. Даже кадр в отражением уже не торт.

21. Вот и всё, подумали приглашенные, ан нет! Для того, чтобы выйти из датацентра нужно было решить квест. Нас разбили на команды и мы начали решать головоломки. Тут мне резко стало не до съемок, домой то охота.

22. Квест все успешно решили, получили пакетики в подарунками, кстати очень хорошими!

23. Ну вот так я и узнал где живут серверы, мега и террабайты, облака в которые мы сливаем свои фоточки и прочая неосязаемая электронная субстанция. Выражаю огромную благодарность службе маркетинга Центра обработки данных Linxdatacenter, и лично руководителю Коммуникационного агентства "ЛАМПА" Евгении Лампадовой. Отдельное спасибо сообществу mosblog без вас я бы никуда не пошел.