Исследователи из Университета штата Пенсильвания разработали приложение NaviSense, способное помочь людям с нарушением зрения свободно ориентироваться в пространстве. Оно помогает находить объекты в режиме реального времени и направлять к ним пользователя.
NaviSense использует камеру смартфона для идентификации объектов вокруг человека и направляет его к ним с помощью пространственных звуковых сигналов и вибрации.
Для работы достаточно использовать голосовые команды, после чего система укажет, где находится нужный предмет. Когда рука оказывается точно в нужной точке, приложение подаёт подтверждающий сигнал.
NaviSense не требует заранее загруженных моделей объектов. Вместо этого приложение подключается к внешнему серверу с ИИ-моделями и распознаёт предметы в режиме реального времени.
Разработчики отмечают, что технология близка к коммерческому запуску. По словам профессора Вижайкришнана Нараянана, команда стремится сделать NaviSense максимально доступным для владельцев смартфонов и носимых гаджетов.