Исследователи из Бингемтонского университета разработали роботизированную систему собак-поводырей, которая может разговаривать с пользователями, предлагая помощь в навигации в реальном времени и двустороннюю связь.
Система использует большие языковые модели, чтобы направлять пользователей с нарушениями зрения к месту назначения, описывая окрестности и препятствия на пути.
В отличие от традиционных собак-поводырей, робот может объяснять маршруты перед поездкой и постоянно предоставлять обновленную информацию во время движения.
Исследование основано на более ранней работе, в которой роботы-собаки-поводыри реагировали на физические сигналы, например, на рывки поводка. В последней версии добавлена возможность диалога, позволяющая пользователям взаимодействовать с системой с помощью голосовых команд.
«В этой работе мы демонстрируем аспект роботизированной собаки-поводыря, который является более продвинутым, чем биологические собаки-поводыри», — сказал Шици Чжан.
"Настоящие собаки могут понимать в лучшем случае около 20 команд. Но для собак-роботов-поводырей можно просто использовать GPT-4 с голосовыми командами. Тогда у него будут очень сильные языковые возможности".
В системе представлены две ключевые функции: вербализация плана и вербализация сцены. Прежде чем отправиться в путешествие, робот намечает возможные маршруты и примерное время в пути.
Во время навигации он описывает окружающую среду в реальном времени, помогая пользователям лучше понять свое окружение.
«Это очень важно для слабовидящих или слепых людей, поскольку без зрения осведомленность о ситуации и окружении относительно ограничена», — сказал Чжан.
На мой взгляд, это действительно прикладная и очень полезная разработка.