Герой нашего события – компания ООО «Е-Флопс». Именно она, одна из немногих обладательниц ресурсов и возможностей для создания сложных плат для высоконагруженных систем, разработала системную плату «Ключевская» 💪. ООО «Е-Флопс» выступила в роли дизайн-центра для компании ООО «АМДтехнологии».
Небольшая предыстория создания системной платы «Ключевская» Системная плата – сердце модульной серверной платформы для хранения и обработки данных. Она используется в различных по назначению и конструктиву продуктах, поэтому на этапе разработки в нее была заложена мультифункциональность🔥.
Всё основано на концепции модульного построения многочисленных систем с использованием одной системной платы, когда часть функционала вынесена на другие сателлитные платы. Это своего рода конструктор Lego в серверостроении, когда вы из необходимых элементов собираете систему под свои задачи. Например, интерфейсы Ethernet, USB, DP, индикация и управление вынесены на отдельную плату ввода-вывода. Также отдельно был вынесен модуль удаленного мониторинга и управления, который выполнен по стандарту RunBMC и устанавливается в 260-pin SODIMM DDR4 разъем. Отдельной платой системная плата соединяется с мидплейном модульного сервера М1, флагманского продукта «Е-Флопс».
Системная плата не только многофункциональная, но и максимально компактная, и всё благодаря той же модульной концепции. Её размеры: 44,6 см на 20,3 см. Вместе с этим 20-слойная конструкция и высокочастотный диэлектрик🙈 – это плата за максимальную гибкость, большой функционал и компактность.
Высокая плотность размещения компонентов вычислительного модуля, необходимость обеспечения высоких показателей охлаждения, качества высокоскоростных соединений, эргономики, минимизация себестоимости продукта обусловили отказ от проводных соединений. Все соединения, как высокоскоростные, так и силовые разведены внутри системной платы.
Дополнительную сложность добавила запроектированная возможность объединения двух плат в единый четырехпроцессорный SMP-конструктив для увеличения вычислительной мощности в одном вычислительном модуле💪.
Плата получилась сложной как в проектировании, так и в производстве. Мало на какой материнской плате вы сможете найти ретаймер. В нашей системной плате он используется, как и во многих сателлитных платах. Системная и сателлитные платы спроектированы по классу точности от 5-го по 7-ой включительно, а сама системная плата граничит между 6-ым и 7-ым классом. Такие печатные платы предъявляют самые высокие требования к технологическим возможностям производства, включая наличие высокоточного оборудования премиум-класса. Далеко не все производители имеют необходимое оснащение. Изготовление плат осуществляется по контрактному производству, включающий в себя два основных этапа (без учета подготовительных работ, закупки сырья и материалов, функций технического контроля и т.д.):
1. Изготовление топологии (текстолит) осуществляется на заводах КНР ввиду отсутствия/недоступности технологий заводам России; 2. Высокотехнологическая пайка (поверхностный монтаж) в полном объеме осуществляется на территории России, а также остальные технологические операции как на заводах, так и в лабораториях компании.
Первая мелкосерийная партия уже запускается по сателлитным платам, а по системной плате будет запущена в скором времени.
Технические характеристики платы «Ключевская» Мы реализовали все возможности процессоров, на базе которых построена системная плата и не только🔥:
• 2 процессора архитектуры ARM64;
• 48 ядер на процессор, частота до 2,2 ГГц;
• 12 слотов оперативной памяти при использовании 6 каналов;
• Память стандарта DDR4 (RDIMM, LRDIMM) с частотой 3200 МГц;
• 80 линий PCIe 4.0 из них 48 линий совместимых с CCIX;
• Встроенный интерфейс USB 2.0; • Встроенный интерфейс Ethernet 1 Гб/с;
• 2 разъема M.2 для встроенных накопителей SSD NVMe x4 M.2 (2242);
• 2 разъема PCIe 4.0 x16 для подключения до 8 накопителей M.2 NVMe или специализированных карт расширения с горячей заменой;
• Слот PCIe 4.0 x16 OCP 3.0;
• 4 разъема PCIe 4.0 x16/CCIX для установки рай• 2 сетевых разъема 10/25 Гб/с и 1x USB 2.0, 1x DP (при установке платы ввода-вывода); • Разъем 260-pin SODIMM DDR4 (для установки модуля удаленного мониторинга и управления стандарта RunBMC).
Еще несколько уникальных характеристик Долой сухие цифры😉. Полный функционал системной платы раскрывается при использовании сателлитных плат. Особого рассмотрения заслуживают 2 изобретения👍: возможность реализации дополнительного межпроцессорного соединения, увеличивающего скорость обмена данными в 2 раза и возможность сборки четырехпроцессорного SMP конструктива из 2 типовых системных плат.
Специализированная плата-объединитель ЦПУ устанавливается в 2 стандартных разъема PCIe 4.0 x16/CCIX, один из которых подключен к одному процессору, а другой к другому и создает дополнительный линк между ними.
На сколько нам известно, единственная реализация SMPфункционала архитектуры ARM64 реализована разработчиками «Е-Флопс». Благодаря специализированным объединительным платам собственной разработки был реализован встроенный функционал процессорной архитектуры ARM64, позволяющей объединять 4 процессора с помощью CCIX интерфейсов, так же как объединяются 2 процессора. Используя 4 платы объединителя и задействовав 4 разъема PCIe 4.0 x16/CCIX на каждой плате, создаются дополнительные 4 соединения CCIX точка-точка между всеми процессорами.
Как проектировалась «Ключевская» и наши достижении в тестировании (bring-up)
Первая ревизия платы была выпущена в качестве макетного образца в очень короткий срок, с января по июнь 2023г. занимались проектированием, в июле 2023г. запустили производство, а уже в начале ноября 2023г. получили все макетные образцы с ограниченным функционалом, не предполагающим установку процессоров. Тем не менее на макетных образцах был выполнен большой объем действий по процедуре bring-up: • Запрограммированы и проверены параметры работы источников питания ISL68124 и LTC3882 на системной плате через интерфейс I2C. • Выполнена проверка корректности работы программы контроллера управления питанием на основе ПЛИС. Протестирована циклограмма (Power Sequence) включения питания системной платы, в т.ч. циклограмма включения питания процессора.
• С помощью электронной нагрузки АКИП-1381/1, осциллографа и милливольтметра проведены проверки всех источников питания системной платы и проверки цепей питания с помощью измерения напряжений в контрольных точках. Также цепи питания платы были проверены на отсутствие коротких замыканий и перетоков. Цепи питания прошли успешную проверку под нагрузкой, в частности линии 0,9V и источники питания были проверены током в 50А.
• Проверен и отлажен протокол взаимодействия между ПЛИС и контроллером BMC, проверена работа интерфейсов I2C и UART. Отлажено взаимодействие контроллера BMС по шинам I2C с установленными на плате источниками питания, датчиками температуры, буферами-разветвителями PCIe, тактовым генератором, RTC и другими устройствами.
• Проведен успешный bring-up и проверка работы контрольно-испытательной платы вычислительного модуля.
• Выполнена адаптация U-Boot по системной плате и плате контроллера BMC. Проверен и отлажен проброс сетевых интерфейсов контроллера BMС по системной плате до разъемов подключения контрольно-испытательной платы вычислительного модуля, что потребовало выполнить тонкую настройку режимов работы приемо-передатчиков и конвертеров RGMII/SGMII.
• Разработан и отлажен драйвер конвертера RGMII/SGMII для U-Boot и для ОС Linux.
• Разработан и проверен механизм определения контроллером BMС факта установки в системную плату и загрузки соответствующей конфигурации встроенного ПО BMC.
• Выполнена миграция OpenBMC на актуальную версию и отвязка от ASPEED SDK.
По итогам вышеперечисленных работ в период ноябрь – декабрь 2023г. в схемотехнику и топологию системной платы были внесены значительные изменения и улучшения, полностью переработано дерево I2C, исправлено свыше 50 замечаний, добавлен ряд соединений GPIO, оптимизирован BOM (bill of materials) и в январе 2024г. запустили производство🙈.
Вторая ревизия платы выпущена в качестве опытного (предсерийного) образца, которую мы получили с завода в начале апреля 2024г. На платах второй ревизии были произведены следующие тестирования:
• Протестирована система питания процессоров, циклограмма (Power Sequence) подача питания на процессоры; • Запуск самих процессоров, загрузка SCP (System Control Processor), UEFI;
• Доработка загрузчика SCP, UEFI;
• Запущена ОС Linux нашей сборки на основе Debian Linux 12 в двухпроцессорном режиме;
• Низкоуровневое тестирование интерфейсов PCIe BareMetal тест;
• Тестирование оперативной памяти;
• Плата-объединитель ЦПУ в двухпроцессорном режиме; • Платы объединители и четырехпроцессорная конфигурация в двухпроцессорном режиме; • Новое дерево устройств I2C;
• Разъемы SSD накопителей М.2;
• USB интерфейсы процессоров; • ВМС, видеоадаптер контроллера Aspeed 2600 с выводом изображения на DisplayPort;
• Плата ввода-вывода;
• Проверка слотов PCIe/CCIX размещенных на системной плате.
На этом этапе к тестированию «Ключевской» добавилась доработка встроенного ПО ПЛИС и UEFI нашей разработки и создание своей сборки ОС. Команда Е-Флопс выкладывалась по максимуму в стремлении скорее добиться результата.
Но по независящим от нас причинам, вернее сказать - очевидным для большинства участников рынка действительностью 2024 года, bring-up платы второй ревизии затянулся на более чем 2 месяца🤫. Команда в разреженном графике проводила тестирование вне доступности нашей передовой лаборатории. И, все же, это позволило добиться успеха! В итоге мы шагнули к загрузке процессоров, UEFI, а потом и к загрузке ОС Linux нашей сборки на основе дистрибутива Debian Linux 12 в двухпроцессорном режиме🤗.
В итоге всё протестированное стабильно работает. Дополнительное соединение CCIX увеличивает пропускную способность в 2 раза (это также нужно подтвердить тестами производительности). Функционал работы в четырехпроцессорном исполнении подтвержден, процессоры работали совместно на разных платах, выполнена загрузка ОС Linux, были обнаружены все 96 ядер, однако опять же по независимым от нас причинам мы не можем пока продемонстрировать работу в полноценном четырехпроцессорном режиме и произвести тесты производительности. Тестирование завершено на 85%🤗.
Заключение В заключении стоит сказать о том, что на системную плату «Ключевская» получен патент на изобретение. Это также демонстрирует высокую значимость как нашей разработки, так и системной платы в целом.
Далее расскажем и покажем про другие платы, в т.ч. и про модуль удаленного управления и мониторинга по стандарту RunBMC.
Первая мелкосерийная партия системных плат планируется к выпуску в сентябре💫.
До новых встреч!
Дополнительно о нас на сайте компании: www.e-flops.ru Социальные сети: https://dzen.ru/e_flops https://vk.com/e_flops https://rutube.ru/channel/36775739/ https://t.me/E_Flops