Как устроен мегаЦОД в Тверской области на 4 тыс. стоек.
Где-то посередине между Москвой и Санкт-Петербургом есть небольшой город Удомля. Раньше он был известен Калининской АЭС. В 2019 году рядом появилась еще одна достопримечательность – мегаЦОД “Удомля” на 4 тыс. стоек.
После присоединения к команде Ростелеком-ЦОД специалисты DataLine также будут заниматься эксплуатацией этого дата-центра. Наверняка вы уже что-то слышали про “Удомлю”. Сегодня мы решили подробно рассказать, как там все устроено.
О ЛОГИСТИКЕ
Дата-центр находится в Тверской области. Из Москвы в Удомлю дорога займет около трех часов: 1 час 45 минут на Сапсане до станции Вышний Волочек, а оттуда по предварительной заявке вас встретит шаттл и довезет до дата-центра. Из Санкт-Петербурга до Вышнего Волочка чуть дольше – 2 часа 20 минут.
На машине из Москвы можно добраться за 4,5 часа, из Санкт-Петербурга – за 5.
Да, ради пары юнитов, наверное, ехать сюда не захочется. А вот если вам нужен новый дом для десятков стоек, то стоит присмотреться. Места и электричества хватит, даже если вам захочется удвоить это количество в любой момент. В Москве, где, по нашему опыту, дата-центры бронируются еще на этапе строительства, такой трюк не всегда пройдет.
Кроме того, расположение дата-центра между Москвой и Питером можно использовать для георезервирования. Если основные мощности в Москве или в Питере, то сюда неплохо впишется резервная площадка.
Со всеми стандартными операциями на месте будет помогать команда smart hands. Они примут, распакуют и установят оборудование в стойках, подключат его к питанию и сети, предоставят удаленный доступ к оборудованию. В случае неисправностей помогут с диагностикой и заменят вышедшие из строя компоненты.
Первая очередь дата-центра – это 4 машинных зала, или модуля, по 205 стоек. На первом этаже работают 2 машинных зала и энергоцентр, на втором – еще два зала и хладоцентр. Идем смотреть, как тут все устроено.
ФИЗИЧЕСКАЯ БЕЗОПАСНОСТЬ
Дата-центр занимает выделенную территорию, на которую не пройти без пропуска и документа, удостоверяющего личность. Для тех, у кого с пропуском все в порядке, дата-центр открыт 24х7. Те, кто приезжает на своем автомобиле, также получают пропуск на транспорт и только после этого могут попасть на территорию дата-центра.
Первый пост круглосуточной охраны – вход на территорию.
Сотрудники охраны не только встречают клиентов и выдают пропуска, но и круглосуточно следят за видеостеной, куда выводится изображение всех внутренних помещений дата-центра и прилегающих территорий.
ЭЛЕКТРОСНАБЖЕНИЕ
Свой путь в дата-центр электричество начинает от АЭС. В дата-центр приходит 10 кВ на 6 понижающих трансформаторов. Далее – уже 0,4 кВ двумя независимыми маршрутами идут в распределительное устройство низкого напряжения (РУНН). Потом через ДИБП электропитание поступает на ИТ- и инженерное оборудование. К стойке подходят два независимых ввода, то есть резервирование 2N. Подробнее о том, как все устроено в части электроснабжения, расскажем в отдельной статье.
Несмотря на то, что под боком АЭС, в любом надежном дата-центре основным питанием считается гарантированное. В наших дата-центрах, как вы знаете, за него отвечают ДГУ, но тут используются динамические ИБП (ДИБП). Они также обеспечивают и бесперебойное питание. ДИБП зарезервированы по схеме N+1.
И вот как это работает. ДИБП – это связка трех основных компонентов: дизельный двигатель, синхронная электромашина и аккумулятор кинетической энергии с ротором. Все они закреплены на главном валу.
Электромашина может работать в режиме электродвигателя и генератора. Когда ДИБП питается штатно от города, электромашина – это электромотор, который крутит ротор и запасает кинетическую энергию в аккумуляторе.
Если городское питание пропадает, электромашина переходит в режим генератора. Благодаря накопленной кинетической энергии ротор заставляет вращаться основной вал ДИБП, электромашина продолжает работать без городского питания и напряжение на выходе не пропадает. Так обеспечивается бесперебойное питание в дата-центре. Одновременно с этим система управления ДИБП подает сигнал на запуск дизельного двигателя. Та же кинетическая энергия ротора запускает дизель и помогает ему выйти на рабочую частоту. Ротор держит обороты до одной минуты, и этого хватит, чтобы в дело вступил дизель. После запуска уже дизель вращает основной вал, а через него – и электромашину (вот наглядное видео переключения ДИБП из одного режима в другой).
В результате питание в стойках не пропадает ни на секунду.
Бак каждого дизель-генератора рассчитан на 3 часа. В дата-центре есть и свое топливохранилище на 80 тонн, которое позволит держать всю нагрузку дата-центра в течение 24 часов. На случай очень гипотетических блэкаутов (АЭС под боком этого не допустит) есть договоры с несколькими подрядчиками, которые оперативно подвезут дизельное топливо на площадку по звонку. В общем, все как положено.
Каждую неделю ДИБП самотестируются и заводят дизель. Раз в месяц проходят тесты с кратковременным отключением городской сети.
Мы поговорили о логистике, физической безопасности и энергоснабжении в дата-центре.
О машинных залах, холодоснабжении, пожарной безопасности, телекоме, мониторинге и быте в ЦОД — в наших следующих материалах :)
