В рамках одного из наших недавно реализованных проектов стояла задача реализовать аппаратно-программный комплекс исполнения нейронных сетей на основе медицинских панельных компьютеров. В качестве аппаратного решения мы остановили свой выбор Advantech UTC-310G. Он оснащен 10,1-дюймовым TFT LCD экраном с эксплуатационным температурным диапазоном 0 +40 градусов. В качестве CPU могут быть установлены Intel Celeron N3350 или N4200. Эти процессоры оснащены встроенной графикой (iGPU) Intel HD, которая может использоваться в инференсе нейронных сетей под управлением фреймворка Intel OpenVINO Toolkit. В случае недостатка производительности можно использовать VPU Intel MyriadX в качестве ускорителя (Intel NCS2 в виде USB-стика или плату расширения M.2 внутри устройства). В качестве источника данных выступает внешняя USB-камера.
Внутри устройства мы реализовали и разместили собственный веб-интерфейс, где пользователь может загружать свои собственные детекторы и классификаторы, подключая флешку с предварительно размеченным датасетом. После подключения флэш накопителя с размеченным датасетом пользователь запускает процесс обучение новой нейронное сети на CPU устройства (очень медленно, но допустимо для прототипа и демонстрации возможностей) или на удаленном сервере. После завершения процесса обучения и автоматической загрузки модели на устройство, пользователь сразу может протестировать ее в работе.
На уровне интерфейса пользователя реализовано три основных экрана:
- Обучение моделей. Вам необходимо подключить флешку с предварительно размеченным датасетом. Устройство обучит модель в Tensorflow и преобразует ее с помощью Intel OpenVINO Optimizer для дальнейшего исполнения (инференса).
- Демонстрационный режим. Мы получаем случайные изображения из валидационного датасета и запускаем инференс модели по ним с отображением данных в слайдере.
- Рабочий режим. Вы можете нажать кнопку «Сделать фото» и получить изображение с подключенной USB-камеры. Устройство отправит это изображение в инференс под управлением Intel OpenVINO. После завершения устройство покажет результаты классификации на текущем экране.
Наше решение может помочь в тестировании и отладке различных детекторов и классификаторов в медицине, например:
- Детектор и классификатор бактерий
- Детектор и классификатор рака
- Распознавание и интерпретация рентгеновских снимков
- И другие.
Данное устройство поможет вам быстро проверить свою идею с использованием нейронных сетей или использовать предустановленные модели и опробовать компьютерное зрение в собственных проектах.
Давайте посмотрим несколько примеров классификации изображений:
Что дальше:
- Мы собираемся сертифицировать устройство и программное обеспечение для использования в медицинской сфере в России и других странах.
- Мы разрабатываем поддержку различных внешних камер для использования с микроскопами и для получения данных с других медицинских устройств.
- Мы обучаем наши собственные модели для комплектации устройства предустановленными комплектами.