Специально обученные собаки-поводыри стали незаменимыми спутниками для людей с нарушениями зрения, обеспечивая им безопасность и мобильность. Однако у этих преданных животных есть существенное ограничение: они не могут разговаривать со своим хозяином. Исследователи из Университета Бингемтона (США) решили преодолеть этот барьер, создав инновационного говорящего робота-поводыря.
Благодаря интеграции современных больших языковых моделей (LLM), этот технологический помощник не просто ведет человека по маршруту, но и способен обсуждать детали поездки, предлагать варианты пути и описывать окружающую обстановку в режиме реального времени, сообщает TechХplore.
Диалог вместо простых команд
Доцент Шики Чжан из Школы компьютерных наук Университета Бингемтона поясняет, что биологические собаки в лучшем случае понимают около 20 команд. Использование таких моделей, как GPT-4, с голосовым управлением наделяет робота мощными лингвистическими способностями.
Ранее команда Чжана уже обучала роботов реагировать на натяжение поводка, но новая система идет значительно дальше. Она обеспечивает двусторонний диалог между человеком и устройством, что значительно повышает уровень ситуационной осведомленности пользователя.
Система работает в двух режимах: вербализация плана и вербализация сцены. В первом случае робот обсуждает маршрут еще до начала движения, помогая человеку сориентироваться в пространстве. Во втором — он описывает происходящее вокруг непосредственно во время ходьбы, что критически важно для слепых.
От экспериментов к повседневности
Эффективность разработки была протестирована с участием семи добровольцев. Эксперимент проводился в сложном офисном пространстве с множеством помещений. Робот спрашивал, куда они хотят отправиться, предлагал возможные маршруты и рассчитывал время в пути. После того как пользователь выбирал путь, робот начинал движение, комментируя препятствия и особенности окружения, например: «Перед нами длинный коридор».
Анкетирование после тестов показало, что участники остались в восторге от возможности получать обратную связь и заранее планировать маршрут голосом. Сочетание предварительного планирования и живых комментариев в пути признано наиболее удобным форматом взаимодействия.
В будущем ученые планируют повысить автономность роботов, чтобы они могли уверенно работать на длинных дистанциях как внутри помещений, так и на городских улицах. Главная цель исследования — сделать роботов-поводырей привычной частью городской среды, превратив их из экспериментальных устройств в надежных и «разговорчивых» помощников.
Собак-поводырей предложили заменить робопсами
В Китае создали очки с ИИ, которые помогают слепым «видеть»
Новые очки с искусственным интеллектом помогают слепым передвигаться по улице
Подписывайтесь и читайте «Науку» в MAX