Искусственный интеллект (ИИ) в сочетании с новой биомиметической камерой позволяет обнаруживать пешеходов и препятствия в 100 раз быстрее, чем современные автомобильные камеры. Этот важный шаг в области компьютерного зрения и ИИ, достигнутый исследователями Цюрихского университета (UZH), может значительно повысить безопасность автономных систем и беспилотных автомобилей.
Опасные ситуации на дороге
Каждый водитель боится внезапного появления пешехода перед автомобилем. В такие моменты счет идет на доли секунды — нужно мгновенно затормозить или свернуть, чтобы избежать трагедии. Некоторые современные автомобили оснащены камерами, которые могут предупредить водителя или активировать экстренное торможение. Однако они не всегда срабатывают достаточно быстро и точно. Для использования в беспилотных автомобилях эти технологии необходимо серьезно усовершенствовать.
Быстрое обнаружение с меньшими затратами ресурсов
Даниэль Гехриг (Daniel Gehrig) и Давиде Скарамуцца (Davide Scaramuzza) с факультета информатики Цюрихского университета (UZH) создали систему, объединяющую биомиметическую камеру с искусственным интеллектом. Она обнаруживает препятствия вокруг автомобиля значительно быстрее существующих решений и при этом требует меньше вычислительных ресурсов. Исследование опубликовано в журнале Nature.
Большинство современных камер работают на основе кадрового принципа и делают снимки через равные интервалы времени. Камеры, которые используются в системах помощи водителю, обычно снимают 30–50 кадров в секунду, а нейронная сеть обучается распознавать на этих изображениях объекты — пешеходов, велосипедистов, автомобили.
«Но, если событие происходит между двумя кадрами за 20–30 миллисекунд, камера может зафиксировать это слишком поздно. Один из способов решения проблемы — увеличение частоты кадров. Но это приведет в росту объема данных, которые нужно обрабатывать в реальном времени, что потребует больше вычислительных мощностей», — объясняет Даниэль Гехриг, ведущий автор исследования.
Сочетание двух типов камер и ИИ
Нейроморфные (или событийные) камеры работают иначе. Это относительно новая технология — «умные» пиксели действуют автономно и записывают изменения только при обнаружении быстрого движения.
«Это исключает «слепые зоны» между кадрами и позволяет быстрее обнаруживать препятствия. Такие камеры называют нейроморфными, так как они имитируют принцип восприятия изображений человеческим глазом», — говорит Давиде Скарамуцца, руководитель Robotics and Perception Group. Однако у таких камер есть недостатки: они хуже распознают медленно движущиеся объекты, а их данные сложно преобразовать в формат, подходящий для обучения ИИ-алгоритмов.
Гехриг и Скарамуцца предложили гибридное решение, объединяющее преимущества обеих технологий. Используется стандартная камера, фиксирующая всего 20 кадров в секунду. Полученные от нее изображения обрабатываются сверточной нейронной сетью (CNN), обученной распознавать автомобили и пешеходов. Данные второй — событийной камеры — поступают в асинхронную графовую нейронную сеть (GNN), которая эффективно анализирует меняющиеся во времени 3D-данные. Обнаруженные событийной камерой объекты помогают предсказать появление объектов на кадрах стандартной камеры, повышая точность данных.
«В результате система обнаруживает объекты так же быстро, как камера с частотой 5000 кадров в секунду, но при этом использует такой же объем данных, как обычная 50-кадровая камера», — говорит Даниэль Гехриг.
В 100 раз быстрее при меньшем объеме данных
Испытания показали, что новая разработка обеспечивает в 100 раз более быструю реакцию, чем камеры и алгоритмы, имеющиеся сегодня на автомобильном рынке. При этом она позволяет сокращать объем передаваемых данных и вычислительные ресурсы без потери точности. Ключевое преимущество — способность обнаруживать автомобили и пешеходов, которые могли бы остаться незамеченными между кадрами стандартных камер, что критически важно на высоких скоростях.
По мнению ученых, метод можно усовершенствовать, интегрировав камеры с лидарными датчиками (LiDAR sensors), используемыми в беспилотных автомобилях. «Такие гибридные системы могут сыграть ключевую роль в развитии автономного транспорта, обеспечивая безопасность без значительного увеличения объемов данных и вычислительных нагрузок», — заключает Давиде Скарамуцца.