Выпускница СГУГиТ в Новосибирске создала комплекс для обучения слепых

В Новосибирске магистрант Сибирского государственного университета геосистем и технологий по специальности «Информационные системы и технологии» Маргарита Фролова разработала «Программно-аппаратный комплекс визуализации тактильных исследований человека для людей с ОВЗ по зрению». Об этом в понедельник, 18 ноября пишет портал Infopro54.

По словам Маргариты, работать над этим проектом она начала ещё на первом курсе. Сначала она вместе с единомышленниками изготавливала тактильные карты на станках их фанеры. А с развитием технологии искусственного интеллекта создатели комплекса придумали как применить их в своей разработке.

В результате работа над проектом, в котором были задействованы ещё три человека, заняла 6 лет. Как правило, чтобы обеспечить незрячему или слабовидящему человека полноту информации, рядом с ним непрерывно должен находиться педагог или специализированный работник, который будет внимательно следить, какие фрагменты ассистивных обучаемых материалов и в какой мере исследовал ученик. Это весьма трудоёмкий процесс, который требует постоянной концентрации внимания. И разработчики придумали, как внедрить в этот процесс искусственный интеллект.

«Здесь большую роль играет самый обычный человеческий фактор. Педагог может на что-то отвлечься, да просто моргнуть. И определённый фрагмент выпадет из визуализации. В этом процессе человеку просто необходим помощник – машина, которая держит фокус внимания на постоянной основе», – рассказывает автор разработки.

Создатели электронного помощника изготовили длинный штатив, на который крепится камера, подключённая к компьютеру. За счёт этого идёт программный скрин – непрерывная трансляция, которая фиксирует каждое действие обучающегося на тактильных картах. А педагогу остаётся лишь наблюдать за процессом.

«Для анализа каждого изображения видеопотока применяется специализированная библиотека OpenCV (это библиотека для работы с алгоритмами компьютерного зрения), а именно надстройка над библиотекой CVZone.HandTrackingModule. Данная надстройка позволяет на каждом кадре определить наличие ладони при помощи обнаружения центра тыльной или внутренней частей. Если ладонь была обнаружена, радиус поиска увеличивается от центра на определённый коэффициент и определяется 21 опорная точка на всей поверхности ладони», – объясняет Маргарита.

По данным издания, её социальный проект вошёл в бизнес-инкубатор Академпарка, и в настоящее время уже есть запросы на эту разработку. В частности, интерес к комплексу проявил ООО «Медицинский интегратор», с которым ведутся переговоры о его последующей реализации.

Ранее BFM-Новосибирск писал о том, что в НГТУ разработали устройство для помощи слепым людям.

фото freepik с сайта ru.freepik.com