В настоящее время наблюдается активное развитие беспилотных транспортных систем, успех функционирования которых зависит от используемых оптических систем визуализации. Структура построения изображений в беспилотных автомобилях включает в себя несколько ключевых компонентов и технологий, которые совместно обеспечивают восприятие окружающей среды, необходимое для безопасного и эффективного движения.
Среди используемых технологий в системах визуализации для беспилотных автомобилей выделяют радары, лидары и камеры с временным стробированием, которые часто используются вместе, дополняя друг друга.
Радары
Технология радар на данный момент часто используется в беспилотных автономных системах, так как она имеет преимущества перед камерами и лидарами при работе в неблагоприятных погодных условиях. Использование радаров позволяет видеть на расстояние до 250м в очень неблагоприятных условиях. Однако, из-за работы в радио-диапазоне радары имеют ограничения в низком угловом разрешении с характерными значениями в 3-5 градусов и относительно часто могут давать ложно-положительные или ложно-отрицательные результаты. Ценовой диапазон для радаров: 500-1000 долларов для Mid-Range Radar и 1000-2000 долларов для Long-Range Radar.
Лидары
Лидары, применяемые в беспилотных автомобилей для детектирования объектов, используют лазерные импульсы в ближнем ИК диапазоне (900-1500 нм). Они показывают бОльшее угловое разрешение, чем радары, однако менее эффективны при детектировании темных или сильно отражающих объектов, а также объектов в условиях плохой погоды.
Для решения описанных проблем существуют методы такие, как ROR (Radius outlier removal), SOR(Statistical outlier removal), LIOR(Low-intensity outlier removal). Однако они требуют больших вычислительных ресурсов и соответственно предоставляют слишком медленные измерения для применения их в режиме реального времени. Наиболее перспективным представляется модификация лидара под названием WeatherNet, основанная на нейронной сети CNN, однако тут присутствуют трудности сбора тренировочных данных.
Относительно способности лидара детектировать объекты в условиях рассеивающей среды было показано, что лидар Tof Lidar правильно детектирует расстояние в 25 метров до машины только при атмосферной видимости больше, чем 150 метров, если не учитывать отражение от номерного знака машины.
Также стоит отметить, что лидар ограничен по интенсивности излучения из-за порога безопасности для глаз других участников дорожного движения, что дополнительно ограничивает возможность лидара противостоять шуму в условиях сильно рассеивающей среды. При этом коммерческие лидары дают разрешение в 0,3*0,3 градуса. Так как, например, на расстоянии в 50 метров зазор в 0,3 градуса эквивалентен линейному размеру в 26 сантиметров.
Кроме того, лидар является достаточно дорогим: стоимость коммерческих лидаров, приемлемых для беспилотных автомобилей около 10 000 долларов.
Камеры с временным стробированием
Наиболее используемыми в области беспилотных автомобилей являются RGB камеры, которые однако крайне неэффективны в условиях дождя, тумана и также подвержены ослеплению от фар встречных автомобилей.
Однако развивающаяся технология камер с временным стробированием во многом преодолевает такие ограничения обычных камер. Эта технология использует лазерные импульсы для засвечивания объектов в поле зрения. При этом камера учитывает тот факт, что свет, отраженный от объектов на разных расстояниях, приходит на детектор в разное время. Для этого устанавливается ограничение времени экспозиции, чтобы получать отраженное излучения от объектов на заданном расстоянии. Благодаря этому информация об окружающем мире представляется в виде слоев с соответствующим расстоянием.
Такая технология делает эти камеры намного менее подверженными засвечению от фар встречных автомобилей, также они лучше различают объекты в условиях тумана или дождя. Было показано, что камеры с временным стробированием успешно различают объекты с отражением 5%, 50% и 90% на расстоянии 15-25 метров в условиях атмосферной видимости 50-60 метров и при засветке от фар встречного автомобиля, тогда как обычные камеры в таких условиях не различают эти объекты.
Однако в технологии камер с временным стробированием для обработки всей сцены требуется совершить несколько измерений с разными временами экспозиции. Это влечет за собой большой объем данных для дальнейшей обработки, к тому же от камеры требуется большая частота кадров для уменьшения времени сбора данных. Вдобавок изображения-слои от таких камер содержат много нулевых значений из-за фильтрации по расстоянию, следовательно камеры с временным стробированием создают много лишних данных, что нагружают дальнейший процесс обработки.
Однопиксельные камеры
В одной из прошлых статей на данном канале было рассказано о относително новом методе получения изображений - фантомная визуализация. Данную методику часто объединяют со схожим методом single-pixel camera и называют однопиксельной визуализацией.
Однопиксельная визуализация по сравнению с лидарами, которые испытывают трудности при работе во время плохих погодных условий, более устойчива к работе в условиях сильно рассеивающей среды. Также однопиксельная визуализация предполагает менее разряженные измерения, где максимальное пространственное разрешение зависит от количества задействованных пикселей в пространственном модуляторе света по аналогии с пикселями в матрице камеры.
По сравнению с радарами, которые хоть и успешно справляются в условиях дождя и тумана, но из-за работы в радио-диапазоне дают низкое разрешение, однопиксельная визуализация позволяет работать в разных диапазонах длин волн, в том числе, например, в ближнем ИК, где достигается лучшее разрешение.
Итоги и благодарности
На сегодняшний день камеры, радары и лидары работают совместно, чтобы обеспечить автономному транспортному средству полное и точное восприятие окружающей среды, необходимое для принятия безопасных и эффективных решений на дороге.
Помимо этого, есть основания предполагать, что систему визуализации беспилотных автомобилей в скором времени дополнет метод однопиксельной визуализации. Это основано на возможности уменьшить объем собираемых данных, что облегчает дальнейшую обработку. Также для метода однопиксельной визуализации нет сильных ограничений на рабочую длины волны излучения. Ну и в конце, такое нововведение сделает существующие системы более устойчивыми к работе в условиях низкой интенсивности приходящего излучения.
В завершении работы выражаю благодарность своим коллегам, а именно Моревой Полине, Исмагилову Азату, Опарину Егору, Старцевой Арине и Тучину Владиславу. Также большую признательность выражаю моему научному руководителю - Цыпкину Антону Николаевичу.
