Apple совместно с Колумбийским университетом представила исследовательский проект SceneScout — систему навигации для людей с нарушением зрения. Она не требует камеры или очков: вместо этого ИИ использует данные из Apple Maps и уличные панорамы, чтобы описывать маршруты, улицы и перекрёстки в виде понятного текста, адаптированного под экранные дикторы и потребности пользователя.
В отличие от классической навигации с поворотами и ориентирами, SceneScout предлагает два режима:
- Route Preview: подробное описание маршрута — от состояния тротуаров до расположения остановок и визуальных ориентиров.
- Virtual Exploration: свободное исследование района — пользователь указывает, что ищет (например, тихий квартал с парком), а система описывает улицы и помогает «прогуляться» виртуально.
В основе системы лежит многомодальный агент на базе GPT-4o, который анализирует уличные изображения и карту, а затем генерирует структурированный текст (короткий, средний или длинный) для навигации. Интерфейс полностью адаптирован для чтения экранными дикторами.
Тесты показали потенциал. И опасности
В тестировании приняли участие 10 пользователей с нарушением зрения. Большинство положительно оценили систему, особенно режим свободного исследования, который давал доступ к информации, недоступной ранее.
Но всплыли и проблемы. Около 72% описаний оказались точными, остальные — с «галлюцинациями»: несуществующие аудиосигналы, перепутанные знаки или устаревшие данные (например, стройка). Также участники отметили: система делает предположения о физических возможностях пользователя и не всегда точно описывает расстояния — особенно в критических точках, таких как переходы или повороты.
Будущее: в реальном времени и в наушниках
Пользователи выразили явное желание получить такую навигацию в реальном времени — через наушники с костной проводимостью или «режимом прозрачности». Идея заключается в том, чтобы получать короткие подсказки во время движения и полные описания во время остановок.
Один из участников предложил: можно указывать устройству направление (без камеры), чтобы получать описание ландшафта перед собой. Это бы сделало навигацию более динамичной.
Исследование ещё не прошло экспертную проверку, но уже показывает, как искусственный интеллект и карты могут помочь сделать передвижение в городе доступным — и как технологии, созданные для поиска галактик, могут вернуть свободу передвижения на земле.
Ещё по теме: