Модульный сервер, не блейд!
Модульный сервер «М1» является часть универсальной масштабируемой модульной платформы и представляет из себя конструктив в форм-факторе 6U в который устанавливаются до 10 вычислительных модулей. 🤔Можно было бы назвать наш сервер «М1» блейд-сервером, но это было бы не вполне точное название.
Идеология решения заключается в том, что общий конструктив шасси схож с конструктивом блейд-сервера и заключает в себе общее питание и охлаждение серверов-лезвий (в нашем случае вычислительных модулей), но классический мидплейн отсутствует.
☝️Мидплейн, это сердце традиционного блейд-сервера. Лезвия лишены возможности вывода каких-либо интерфейсов напрямую в общую сеть, вся коммутация происходит через мидплейн, который осуществляет вывод интерфейсов лезвий на размещаемые в общем шасси коммутаторы. Также через мидплейн осуществляется питание лезвий. Таким образом, мидплейн, это самое узкое место блейд-сервера, а также компонент, который не имеет резервирования. При механической поломке или электрическом замыкании мидплейна, из строя будут выведены вплоть до всех серверов, размещенных в шасси. Кроме того мидплейн, это очень дорогая деталь, превосходящая по сложности системную плату сервера, без процессоров, памяти, но в несколько раз большего размера с очень плотной коммутацией высокоскоростных интерфейсов, питания и сложной системой перфорации. Также мидплейн ограничивает возможности модернизации блейд-системы, так как в связи с выходом новых ЦПУ, нового поколения шины PCIe и нового поколения внешних скоростных интерфейсов, это требует повторной разработки и полной замены как самого мидплейна, так и встраиваемых в шасси блейд-системы проприетарных коммутаторов.☝️
Разрабатывая модульный сервер, мы провели глубокий анализ использования блейд-серверов в современных ЦОД и пришли к заключению, что избыточный функционал сложной системы ввода-вывода, использующей проприетарные коммутаторы, используется редко, или вносит свои особые требования в архитектуру решения.
Помимо высокой стоимости и функциональных ограничений, проприетарные коммутаторы производителя блейд-серверов (кроме Ethernet коммутаторов TOR блейд систем Cisco) увеличивают сложность сетевой топологии, практически не давая никаких преимуществ кроме физического облегчения подключения серверов в сети Ethernet, сетях данных и управления.
В итоге мы отказались от полноценного мидплейна, использовав его сильно упрощенный вариант, который позволяет объединить служебные Ethernet-порты котроллеров BMC, а также вспомогательные каналы ввода-вывода вычислительных модулей.
Таким образом предоставляется единое управление всем шасси из одного удобного интерфейса используя только два SFP+ порта 10 Gigabit Ethernet для внешних подключений с возможностью резервирования канала управления. Также наш вариант мидплейна объединяет вспомогательные порты Gigabit Ethernet вычислительных модулей выводя их в общие 2 внешних SFP+порта 10 Gigabit Ethernet для резервирования вспомогательного канала ввода-вывода. Для реализации данного функционала используются 2 независимых коммутатора 1 GbE, размещенных в модуле управления шасси и имеющих по 2 внешних выхода 10 GbE в форм-факторе SFP+.
Преимущества нашего мидплейна:
🔹Компактность мидплейна, позволяет разместить его на нижнем уровне
(на котором располагаются блоки питания и панель индикации и
управления) и полностью исключить его влияние на воздушные потоки,
проходящие сквозь основную часть корпуса шасси, охлаждающие
вычислительные модули.
🔹Простота и пассивное исполнение мидплейна обеспечивает его
высокую отказоустойчивость.
🔹Отсутствие внутренней высокоскоростной коммутации исключает узкое
место в выводе внешних интерфейсов вычислительных модулей.
Традиционный блейд-сервер всегда имеет ограничение скоростных
характеристик мидплейна. Даже если мидплейн создан с заделом на
будущее и поддерживает самые современные интерфейсы, из-за
высокого темпа развития протоколов обмена данными, моральное
устаревание бэкплейна наступит через 3 года или ранее. Это приведет к
необходимости замены шасси, коммутаторов, возможно и замены всех
серверов-лезвий.
🔹Также большинство современных блейд-серверов имеют только 2
независимые фабрики, а не 3 как в предыдущих поколениях. Это также
усложняет систему коммутации при использовании трех различных
протоколов обмена данными, когда необходимо, например, вывести
одновременно Ethernet, Fiber Channel и Infiniband.
🔹Помимо проприетарных коммутаторов мы исключили из решения
проприетарные карты расширения, обеспечивающие дополнительные
внешние интерфейсы подключения к сетям данных и
высокоскоростным InfiniBand коммутаторам. В традиционных блейд-
серверах данные карты расширения выполнены в форм-факторе
mezzanine, что сужает номенклатуру возможных используемых
адаптеров.
🔹Длительный жизненный цикл и защита инвестиций. Наше шасси ввиду
простоты и модульности конструкции предполагает отсутствие
морального старения, а также возможность локальной модернизации
отдельных блоков без замены всего шасси.
🔹Вышеописанные преимущества по отдельности и все вместе
обеспечивают значительное снижение стоимости решения, а также
защиту инвестиций.
Лучшие технологические решения!
Таким образом, мы создали решение с высокой плотностью размещения вычислительных ресурсов, таким как в высокоплотных серверах. Как в высокоплотных серверах в наших вычислительных модулях используются стандартные карты расширения, устанавливаемые в стандартные слоты PCIe. В нашем решении используется общая система управления, сравнимая с системой управления традиционных блейд-серверов, но отсутствует у высокоплотных серверов. Из идеологии блейд-систем мы также взяли технологическую возможность использования вычислительных модулей различных форм-факторов и их произвольного комбинирования, что обеспечивает широкий спектр конфигураций. Данная возможность отсутствует у высокоплотных серверов.
В конструкцию решения также заложена возможность установки дисковых массивов и коммутаторов в стандартные слоты шасси, предназначенные для размещения внутренних модулей.
В результате мы взяли лучшие технологические решения от блейд и высокоплотных серверов, устранив их недостатки с позиции жизненного цикла, крупносерийного производства, инвестиций в разработку и, как следствие, цены сервера.
Поэтому мы называем наш сервер модульным, что полностью соответствует его архитектуре и не вызывает некорректных ассоциаций с блейд-серверами.
И еще раз хочется подчеркнуть универсальность решения «Е-Флопс», позволяющую использовать его как в классических ЦОД со стойками 19”, так и в ЦОД, построенных на базе международного стандарта Open Compute Project (OCP). Заказчик впоследствии может трансформировать свой классический ЦОД в OCPЦОД и перенести в него всю вычислительную инфраструктуру включая шасси. Данная опция также защищает инвестиции заказчика.
Надеемся, мы смогли объяснить смысл, который мы вкладываем в названии нашего модульного сервера «М1». Далее мы продолжим раскрывать секреты наших решений на канале Дзен.😄😃😉
До новых встреч!