Мы обещали небольшой цикл статей о наших значимых проектах.
Один из них мы лаконично называем “ЦОД”. Исходя из названия понятно, что этот проект мы выполняли в одном из дата-центров нашего партнёра. Проект состоял из двух логических и технических этапов. На первом этапе мы оснащали “собственные“ мощности заказчика, в то время как на втором оснащение велось “под проект“.
Для начала небольшая преамбула, как мы пришли к этому проекту.
Исторически сложилось, что наша сильная сторона – энергетика. Такие понятия как калибровка, поверка, параметры качества электроэнергии, составляющие гармоники, прошли через наши руки и головы и воплотились в различные решения не в одном проекте. Мы исследовали всех производителей и поставщиков микросхем измерения тока и напряжения, со многими из них нам удалось поработать, подготовили несколько проектно-финансовых оценок запуска серий электросчётчиков и контроллеров электроэнергии. Поэтому когда нам предложили поучаствовать в тендере по оснащению телеметрией на линиях электропитания одного из крупных подмосковных ЦОД, мы чувствовали себя уверенно. Конкурентом на тот момент выступало проектное решение от Schneider Electric.
Нам удалось защитить наше решение, и мы приступили к оснащению первых залов ЦОД под требования заказчика и его клиентов.
На первом этапе мы стушевались под давлением генерального заказчика и поставили комплектное решение одного из игроков рынка. Чтобы его не рекламировать и не давать антирекламу, называть его не будем. На самом деле, к коллегам претензий нет – так же, как и мы, разрабатывают линейку своих продуктов и постоянно ее улучшают, мы лишь дополнили их решение своим контроллером связи E1 для обеспечения устойчивого канала передачи данных в диспетчерское ПО.
После сдачи первых четырех залов у нас начались проблемы, для наглядности покажем схему данного решения (к сожалению, проектную документацию по условиям договора мы выкладывать не можем). Схема представляла собой набор электросчётчиков, которые измеряли параметры ЭЭ по каждому вводу каждой стойки, и наш модем Е1, который опрашивал счётчики, агрегировал данные и передавал наверх.
В чем была главная проблема? У нас начали зависать устройства поставщика, а обновление (в нашей ситуации) можно было осуществить только контактно на месте. Закончилось это несколькими совместными выездами и обновлением прошивок непосредственно на объекте, часть оборудования пришлось заменить, ввиду невозможности обновления прошивок из-за устаревшего железа, что, конечно же, повлекло определенные затраты и небольшой накал страстей на проекте.
К моменту старта второго этапа, который был в 2 раза продолжительнее первого и включал в себя дополнительные требования, мы определили, что неплохо было бы использовать наше решение. К этому времени наш новый модульный контроллер К1 успешно прошел опытную эксплуатацию в других наших проектах. Мы называем его “тараном” комплектной автоматики. Шасси позволяет скомплектовать до 9 разнотипных модулей и уместить все это в 12 DIN корпус. Целевым был модуль измерения ЭЭ, его ТТХ мы приведем ниже, но фактически он заменяет полноценный трёхфазный электросчётчик, при этом заметно выигрывает по габаритам.
Задача, в целом, стояла простая. Контроль параметров ЭЭ, контроль температуры и влажности, интеграция с ОПС и своевременная передача всех собранных данных в систему верхнего уровня. Таким образом, проект преследовал две базовые цели – контроль микроклимата горячих и холодных коридоров машинного зала, а также мониторинг потребляемой мощности по каждой стойке и технический учёт электроэнергии, так как у заказчика учёт был организован на весь машинный зал целиком, который включает в себя 140 серверных стоек, разнесенных по 12 рядам, каждый из которых подключен двумя вводами электропитания.
Состав контроллера мы подобрали следующим образом:
- Модуль измерения параметров электроэнергии – 4 шт
- Модуль подключения датчиков 1-Wire – 1 шт
Технические характеристики выбранных модулей ниже:
Такой набор модулей был выбран исходя из конфигурации каждого ряда в машинном зале для того, чтобы: а) была возможность увеличить количество точек подключений без сложной переработки укомплектованного решения и б) обеспечить лучшую отказоустойчивость решения. На первом этапе выявилось слабое звено — модем, при выходе из строя которого мы могли потерять информацию по всему ряду целиком.
Дальнейшее оснащение мы выполняли на базе нашего решения. К слову, небольшие замечания были и к нашей прошивке, в основном, они были связаны с доработкой алгоритмов анализа параметров температуры, и обновление мы проводили удалённо из ПО верхнего уровня, расположенного, конечно же, в периметре заказчика.
Типовая схема подключения стоек выглядела вот так:
С какими сложностями нам пришлось столкнуться?
- Сроки.
Как это ни банально, но бизнес-идея ЦОД состоит в сдаче мест потенциальным заказчикам, а система мониторинга ставится, как вы понимаете, в самом конце, когда все подключено и разведено. Сроки в договоре позволяли нам провести все работы в спокойном режиме, но когда ты находишься в конце очереди, к моменту когда подходит твое время, сроки заканчиваются и тебе приходится прыгать выше головы. Мы работали в выходные, мы работали по 12-14 часов, мы работали ночью, притом путь до объекта у нас занимал 3-4 часа. В итоге, все залы были приняты в эксплуатацию в запрошенные заказчиком сроки. - Монтажные работы.
Распределительные коробки находились по проекту под потолком, а это 4 метра над уровнем пола. Приходилось работать со стремянок и лесов, что вносило свои коррективы в производственный процесс. Вывод мы для себя сделали однозначный – не скупиться на удобное и качественное оборудование для монтажа. - Маркировка.
Как ни странно, именно этот пункт вызвал жаркие споры с заказчиком. Зачастую из-за сжатых сроков проектирование и реальные работы шли рядом, иногда монтажники говорили проектным инженерам что и как проходит, а иногда дело шло как положено, и монтажники смотрели в готовую проектную документацию. У заказчика было своё видение маркировки, а у нас своё, так что по итогу нам приходилось наносить финальную маркировку поверх своей, это был своего рода check-up проекта. С этой целью мы купили удобный переносной принтер Bradly, не сочтите за рекламу. Могли бы не писать о нём, но фишка была в том, что при покупке картриджей принтер шёл бесплатно, эта небольшая радость была отмечена командой на проекте. - Допуск.
На подобных объектах могут работать люди с соответствующим уровнем допуска, как по силовым цепям, так и по высотным работам, поэтому длительное время приходилось согласовывать расширение команды, и каждый раз наши сотрудники подвергались пристальному изучению со стороны СБ. Начало каждого рабочего дня – инструктаж по ТБ, записи в журнал, и только после этого выход на работу. Нужно учитывать, что все эти процедуры занимают достаточно продолжительное время, это не 5 минут, а все наши попытки переломить ситуацию разбивались о классический аргумент: таков распорядок, иначе никак. - Сдача проекта.
Сложность заключалась в том, что когда залы были запущены в работу, несмотря на все усилия проектной команды, были допущены ошибки монтажа при прокладке линий, смена схем расположения оборудования заказчиком, а также нашими ребятами при заведении в систему верхнего уровня. Для понимания – было более 2800 точек подключения. Заказчик написал нам замечания, и уже на принятых в эксплуатацию объектах нам приходилось заново проходить и сверять показания, чтобы привести все показания в норму и соответствие с реальностью. Вывод тут простой: сдал объект, дошёл до реперной точки – держи за пуговицу заказчика, настаивай на проведении ПСИ и подписании протокола, это выгодно и заказчику, и исполнителю (мы этот момент из-за спешки сдачи немного упустили). Тем не менее, замечания устранены, прошёл гарантийный год, и мы в 2022 году подписали договор на послегарантийное обслуживание системы.
Инженерные решения
Ключевым элементом решения является Модуль измерения параметров электроэнергии, fider_board. Элементный состав модуля:
- B0303XT-1WR2 Mornsun \ B2405XT
- ATM90E36A-AU-R Microchip \ ATM90E32AS
- ADUM1401ARWZ Analog Devices
Из нюансов работы с микросхемой ATM90E36A — следует обратить внимание на установление диапазонов измерений при калибровке.
В целом, микросхема показала себя достойно, мы не получили ни одного отказа за всё время её использования. Из недостатков можно указать на последние колебания цены и сроков поставки, но этому риску подвержены все элементы с большим объёмом поставок.
Что хотелось бы отметить в качестве заключения? Наша команда обладает хорошей экспертизой в проектных решениях, которые в ряде случаев дают существенную выгоду против проектной автоматики. Выражая в цифрах: по объёму проектное решение на контроллере К1 меньше раза в 2-3, по цене экономия порядка 20%. Выгоду проектного решения ощущает заказчик, когда есть большой проект и экономия очевидна. Также, нужно отметить, что комплектная автоматика (при всех достоинствах, чего душой кривить, мы и её используем в своих проектах) подразумевает определённый объём монтажных работ: провода, клеммы, соединения и на больших объёмах это даёт и ошибки, и увеличение сроков. В следующих статьях мы коснёмся этого момента и приведем реальные подтверждения сокращения объёма коммутируемых соединений в проектном решении.
#edcteam #центрразработкиэлектроники #цод #телеметрия #датчики #энергетика #мониторинг
