🖥В Новосибирске разрабатывают автономный ИИ-помощник для слабовидящих

Фото: пресс-служба Новосибирского государственного университета

Базовую модель устройства для слабовидящих и незрячих пациентов представили вице-премьеру РФ Дмитрию Григоренко во время его визита в Новосибирский государственный университет (НГУ). При разработке прибора используют большие языковые модели, сообщили в пресс-службе вуза.

Созданием ИИ-помощника совместно занимаются ученые НГУ и специалисты новосибирского филиала МНТК «Микрохирургия глаза». В основе проекта – идея использовать слуховой анализатор мозга для ориентации человека в пространстве.

«Когда человек читает книгу или слушает аудиозапись, в его мозгу формируются определенные образы о предметах. Если дать слабовидящему или слепому пациенту через слуховой анализатор возможность определять расстояние до объектов (дверного проема, окна, транспортного средства), их размеры. Это, безусловно, поможет ему в реальной жизни и адаптации в социальной среде», – рассказал директор филиала МНТК «Микрохирургия глаза», профессор Валерий Черных.

Принцип работы систем прост: «видеть» вместо человека будет видеокамера, информация с которой поступит в портативный компьютер, преобразующий ее в текст. Затем описание через наушники подается непосредственно пользователю.

При разработке устройства используется мультимодальная языковая модель, которая выдает достаточно качественное словесное описание окружающих помещений и предметов. Также система прекрасно распознает тексты, считывает надписи, указатели и предупреждения о препятствиях.

Ученые создали базовую модель, прототип устройства разработают к концу года. Прибор оснастят аккумулятором, что позволит использовать его в автономном режиме. Общая масса новинки составит около одного кг.