Разработчики искусственного интеллекта для управления беспилотным автомобилем утверждают, что научили его «читать мысли» пешеходов.
Этот ИИ работает на базе мультимодальной большой языковой модели — такой же, что положена в основу ChatGPT и прочих всем нам хорошо известных сервисов. Только вместо генерации текстов или описания картинок она объединяет визуальные сигналы с контекстной информацией, чтобы в реальном времени предсказывать намерения пешеходов на дороге.
Разработка получила название OmniPredict. Она не пригодна к практическому применению — это пока исследовательский прототип, — но результаты первых тестов уже весьма многообещающие: модель показала исключительно высокую точность даже без специализированного обучения.
«Города непредсказуемы. Пешеходы тоже бывают непредсказуемы. Наша новая модель — это взгляд в будущее, где машины не просто видят, что происходит, но и предвосхищают вероятные действия людей», — говорит профессор Срикант Сарипалли, ведущий исследователь проекта и директор Центра автономных транспортных средств и сенсорных систем Техасского университета A&M.
Новый уровень «уличной сообразительности»
В гонке за безопасность беспилотных автомобилей OmniPredict выводит «уличную смекалку» на новый уровень — приближая ее к человеческой интуиции.
Вместо того чтобы просто реагировать на действия пешеходов, система предугадывает, что они собираются сделать. Такой подход может изменить принципы городской мобильности и движения автономных транспортных средств. Может измениться и психологический ландшафт взаимодействия.
Представьте: вы стоите у пешеходного перехода, и вместо зрительного контакта с водителем-человеком вы знаете, что автомобиль с ИИ отслеживает ваше положение и планирует свои действия, исходя из ваших вероятных следующих шагов.
«Меньше растерянности на переходе, меньше опасных ситуаций. Движение на улицах может даже стать более плавным — и все потому, что транспортные средства понимают не только движение, но, что важнее, мотивы», — объясняет Сарипалли.
Чтение поведения человека в сложных условиях
Возможности OmniPredict выходят далеко за рамки оживленных городских улиц, хаотичных перекрестков и заполненных людьми переходов.
«Мы открываем путь к различным применениям. Например, возможность для машины эффективно обнаруживать, распознавать и прогнозировать действия человека, демонстрирующего угрожающие признаки», — продолжает профессор.
ИИ, способный считывать изменения позы, колебания, ориентацию тела или признаки стресса, может стать прорывом для военных и спасательных служб.
«Он мог бы помогать выявлять ранние индикаторы риска и повышать осведомленность о ситуации», — полагает ученый.
В таких сценариях новый подход мог бы дать специалистам возможность быстро интерпретировать сложную обстановку и принимать более оперативные и обоснованные решения.
«Наша цель в этом проекте — не заменить людей, а дополнить их более умным помощником», — подчеркивает Сарипалли.
Испытание практикой
Традиционные системы автономного вождения полагаются на компьютерные модели зрения, обученные на тысячах наборов данных и изображений. Хотя эти модели мощны, они с трудом адаптируются к меняющимся условиям.
«Погодные изменения, неожиданное поведение людей, редкие события и хаотичные элементы городской улицы могут повлиять даже на самые совершенные системы, основанные на зрении», — констатирует Сарипалли.
OmniPredict использует другой подход. Он не просто видит сцену, а интерпретирует ее и предсказывает, как каждый элемент может переместиться, корректируясь в реальном времени.
Систему протестировали на двух наиболее сложных наборах данных для исследования поведения пешеходов — JAAD и WIDEVIEW, — не проводя никакого предварительного специализированного обучения. Результаты опубликованы в журнале Computers and Electrical Engineering.
Они показали, что OmniPredict достиг впечатляющей точности в 67%, превзойдя новейшие модели на 10%. Эффективность сохраняется даже при добавлении контекстной информации, например, о частично скрытых пешеходах или людях, смотрящих в сторону автомобиля.
Кроме того, ИИ продемонстрировал более высокую скорость реакции, лучшую обобщающую способность в разных дорожных условиях и более надежное принятие решений по сравнению с традиционными системами.
Поворот к автономности и предвидению
Разработчики OmniPredict уверены, что будущее именно за такими средствами, которые меньше основаны на примитивном анализе визуальной информации и больше — на поведенческой логике. Объединяя логические рассуждения с восприятием, система открывает и обеспечивает новый вид коллективного интеллекта — мир, в котором автоматизация становится не просто повсеместной, но и во многом интуитивной.
«OmniPredict не просто видит, что мы делаем, — она понимает, почему мы это делаем, и теперь может предсказать, когда мы, вероятно, совершим действие», — резюмирует Сарипалли.
Если автомобили с ИИ могут прочитать наш следующий шаг, дорога станет намного умнее.
Беспилотные автомобили научились конфиденциально рассказывать друг другу о пробках
За последние 40 лет изменился стиль движения пешеходов в городах
Подписывайтесь и читайте «Науку» в Telegram