Ученые Новосибирска разработали уникальный телеграмм-сервис для обработки изображений

Эту разработку уже активно используют в различных областях науки и промышленности более трехсот пользователей в России и за рубежом.

8 января года в журнале первого квартиля издательства Wiley «Microscopy Research and Technique» вышла статья «Облачный сервис DLgram для глубокого анализа микроскопических изображений» («DLgram cloud service for deep‐learning analysis of microscopy images»). В ней ученые лаборатории глубокого машинного обучения в физических методах Института интеллектуальной робототехники НГУ представили разработанный ими универсальный сервис для распознавания многочисленных однородных объектов различного характера. Их работа была поддержана грантом РНФ.

– Первую версию этого сервиса мы представили еще в 2021 году. Затем благодаря поддержке гранта РНФ усовершенствовали его: расширили функционал, ввели новые возможности анализа распознанных объектов. Сейчас наш телеграмм-сервис довольно известен среди микроскопистов и насчитывает более 300 пользователей из России и из-за рубежа. Для работы с ним не требуется специальных навыков. Нейросеть освобождает человека от выполнения рутинных процессов, связанных с подсчетом и характеризацией частиц или объектов на изображении – определением их количества и концентрации, а также максимальных, минимальных и средних размеров. Сервис функционирует в облачном режиме, т.е. используемая нейронная сеть Cascade Mask-RCNN работает не на компьютере пользователя, а на графическом сервере Института интеллектуальной робототехники НГУ, – рассказал заведующий лабораторией Андрей Матвеев.

– Работать с сервисом DLgram может любой пользователь, специальных знаний и навыков для этого не требуется. Достаточно на своем изображении в выделенном квадрате разметить порядка 10 объектов и загрузить его в телеграмм-канал Nanoparticles. После этого изображение подхватывается чат-ботом и попадает на сервер Института интеллектуальной робототехники, где происходит обучение нейросети, а потом производится распознавание объектов на изображении. Этот процесс занимает всего несколько минут. Пользователь получает изображение с распознанными объектами и может при необходимости внести корректировки. После этого определяются параметры объектов – количество, размеры, площадь, концентрация, – пояснила старший научный сотрудник лаборатории Анна Нартова.

Новый сервис работает с различными фотоизображениями – снимками с микроскопов, фотокамер и мобильных телефонов, а нейросеть распознает не только частицы веществ, но и макрообъекты.

– Мы активно развиваем создание подобных цифровых помощников не только в области микроскопии. Сотрудники и студенты института работают над созданием систем автоматического распознавания различных объектов в промышленности, а также для городской среды в рамках федерального проекта по развитию Центров искусственного интеллекта, – отметил директор Института интеллектуальной робототехники НГУ Алексей Окунев.