Инференс - это непрерывное исполнение нейронных сетей на конечном аппаратно-программном устройстве. Он может выполняться на CPU, GPU, iGPU, FPGA и других аппаратных устройствах. Мы заметили, что при конвертации моделей в Intel OpenVINO можно получить заметный прирост производительности, а оптимальным аппаратным решением с точки зрения соотношения цена/качество, являются процессоры Intel Core i5 8-го поколения. Преимущество этих процессоров раскрывается за счет использования встроенной графики iGPU Iris Plus 655.
После множества тестов и подтверждения замеров производительности инференса на микрокомпьютерах Intel NUC8i5 мы разработали серверное решение, в котором NUC'и выступают множеством вычислительных модулей, объединенных на сетевом уровне, внутри серверного корпуса 1U.
В рамках нашего решения 1U ComBox NUC server удалось многократно сократить стоимость инференса на единицу потока. При установке 8-ми Intel NUC в 1U получается 64 логических ядра и 8 iGPU Iris Plus 655 по 48 исполнительных модулей каждый, что в данном форм-факторе представляет наилучший показатель.
После тестовой эксплуатации решение было доработано путем дооснащения базовой несущей платой, эффективной воздушной системой охлаждения, а также резервированием питания:
Спецификация сервера:
- Intel NUC8i5BEK (без корпуса с доработанной системой охлаждения), 8 шт.
- Модули памяти DDR4 SO-DIMM AMD Radeon R7 Performance, 8 Гб, 8 шт.
- Дополнительные модули памяти DDR4 SO-DIMM Kingston, 4 Гб, 8 шт.
- SSD M.2 накопитель WD Green, 240Gb, 8 шт.
- Корпус 1U (собственного производства).
- Маршрутизатор MikroTik RB4011iGS+RM (без корпуса с доработанной системой охлаждения), 1 шт.
- БП IBM 94Y8187, 550 Вт.
Преимущества:
- Высокая плотность компоновки
64 Ядра и 8 шт. GPU для серверных решений в форм-факторе 1U - Гибкие параметры
Наличие возможности распределения инференса между CPU и GPU - Гетерогенная система установки
Взаимозаменяемость узлов и их широкий спектр, например, комбинация Intel NUC8i5BEK, Raspberry Pi3, Intel NCS2 - Мультифункциональность
Наличие возможности одновременной работы с различными типами данных INT8/FP16/FP32 за счет использования CPU и GPU одновременно - Технология Hot Swap
Горячее резервирование вычислительных узлов системы на сетевом уровне - Энергоэффективность
Энергопотребление до 550 Вт при полной 100% нагрузке для 8 шт. NUC8i5BEK
Подробнее - https://nucserver.ru/
