Мы, в компании ComBox Technology, разработали полноразмерную несущая плата PCIe x4 с 8-ю блейдами, в рамках каждого из которых установлено по 8 чипов Intel Movidius (MyriadX, MA2485). Фактически, это блейд система на шине PCIe, где в рамках несущей платы может быть установлено от 1 до 8 планок по 8 ускорителей инференса на каждой. В итоге — это промышленное масштабируемое решение с высокой плотностью VPU для сегмента Enterprise.
Все блейды в системе отображаются как множество плат HDDL по 8 ускорителей на каждом. Это позволяет задействовать множество как под инференс одной задачи с множеством входящих потоков, так и под множество разных задач.
В решении используется PLX на 12 линий PCIe, 8 из которых идут на 8 блейдов, по одной линии на каждый, а 4 на материнскую плату. Далее, каждая линия идёт на PCIe-USB свич, где 1 порт используется для соединения, а 8 проброшены на каждый подключенный Myriad X.
Общее энергопотребление платы с 64 чипами не превышает 100 Вт, но допускается в том числе и последовательное подключение нужного числа блейдов, что пропорционально сказывается и на энергопотреблении.
Итого в рамках одной полноразмерной платы PCIe мы имеем 64 Myriad X, а в рамках серверного решения на платформе, например, от Supermicro 1029GQ-TRT, 4 платы в форм-факторе 1U, т.е. 256 чипов Myriad X для инференса на 1U. Производительность платформы в сборке с 4 платами достигает 2880 FPS при инференсе нейронных сетей SSD Mobilenet v.2.
Подробнее - https://combox.io/projects/8SBC/#pciemyriadx
