Тысячи дорожных камер Нью-Йорка фиксируют бесконечные часы видеозаписи каждый день, но анализ этого видео для выявления проблем с безопасностью и внедрения улучшений обычно требует ресурсов, которых нет у большинства транспортных агентств.
Теперь исследователи из Инженерной школы NYU Tandon разработали систему искусственного интеллекта, которая может автоматически выявлять столкновения и близкие пропадения в существующих видеозаписях дорожного движения, сочетая языковое мышление и визуальный интеллект, потенциально меняя подходы городов к улучшению безопасности дорожного движения без крупных новых инвестиций.
Опубликованное в журнале Accident Analysis & Prevention, исследование получило премию Vision Zero Research Award Нью-Йорка — ежегодное признание работы, соответствующей приоритетам города в области безопасности дорожного движения и предоставляющей практические инсайты. Профессор Каан Озбай, старший автор статьи, представил исследование на восьмом ежегодном симпозиуме Research on the Road.
Сотрудничество и возможности системы
Эта работа является примером междисциплинарного сотрудничества между экспертами по компьютерному зрению из нового Центра робототехники и воплощённого интеллекта NYU, а также исследователями по транспортной безопасности в C2SMART центре NYU Tandon, где Озбай занимает должность директора.
Автоматически определяя, где и когда происходят столкновения и близкие пропадения, система команды под названием SeeUnsafe помогает транспортным агентствам выявлять опасные перекрёстки и дорожные условия, требующие вмешательства до более серьёзных аварий. Он использует предварительно обученные модели ИИ, способные понимать как изображения, так и текст, что является одним из первых применений мультимодальных крупных языковых моделей для анализа длинных видео с трафиком.
«В Нью-Йорке работает тысяча камер круглосуточно. Заставлять людей вручную изучать и анализировать все эти записи — это недопустимо», — сказал Озбай. «SeeUnsafe предоставляет городским властям очень эффективный способ полностью использовать существующие инвестиции.»
«Агентствам не нужно быть экспертами по компьютерному зрению. Они могут использовать эту технологию без необходимости собирать и маркировать собственные данные для обучения модели видеоанализа на базе ИИ», — добавил доцент NYU Tandon Чэнь Фэн, соучредитель и директор Центра робототехники и воплощённого интеллекта и соавтор статьи.
Производительность и проактивные меры безопасности
Протестированный на наборе данных Toyota Woven Traffic Safety, SeeUnsafe превзошёл другие модели, правильно классифицируя видео как столкновения, близкие пропадения или обычный трафик в 76,71% случаев. Система также может определить, какие конкретные участники дорожного движения были вовлечены в критические события, при этом уровень успеха достигает 87,5%.
Традиционно меры по безопасности дорожного движения внедряются только после произошедших аварий. Анализируя закономерности близких к пропастам — например, транспортные средства, проходящие слишком близко к пешеходам или совершающие рискованные манёвры на перекрёстках — агентства могут заранее выявлять опасные зоны. Такой подход позволяет внедрять профилактические меры, такие как улучшение знаков, оптимизированное время работы сигналов и переработанные планировки дорог до серьёзных аварий.
Отчетность, ограничения и будущие применения
Система генерирует «отчёты по безопасности дорожного движения» — объяснения решений на естественном языке, описывающие такие факторы, как погодные условия, объём движения и конкретные движения, приведшие к близким авариям или авариям.
Хотя система имеет ограничения, такие как чувствительность к точности отслеживания объектов и сложности при слабом освещении, она закладывает основу для использования ИИ для «понимания» контекста безопасности дорожного движения на основе огромного количества дорожных записей. Исследователи предполагают, что этот подход может распространиться и на встроенные видеорегистраторы в автомобиле, что потенциально позволит оценивать риски в реальном времени с точки зрения водителя.
Это исследование пополняет растущий объём работ C2SMART, которые могут улучшить транспортные системы Нью-Йорка. Недавние проекты включают изучение того, как тяжёлые электрические грузовики могут нагружать городские дороги и мосты, анализ того, как камеры скорости меняют поведение водителей в разных районах, разработку «цифрового двойника», способного найти более умный маршрут для сокращения времени реагирования FDNY, а также многолетнее сотрудничество с городом для мониторинга автомагистрали Бруклин-Куинс на предмет повреждений транспортных средств, причиняющих повреждения.