Инженеры из Израиля и России показали, что портативный проектор можно использовать для обмана продвинутых систем помощи водителю (ADAS) — например, в одном из экспериментов автомобиль Tesla заставили выехать на встречную полосу. Во время экспериментов они наносили на дорогу изображения дополнительной разметки, пешеходов и автомобилей, а также проецировали на стены дорожные знаки с большей разрешенной скоростью. Статья с описанием атак и методов защиты от них опубликована на сайте Международной ассоциации криптологических исследований.
На сегодняшний день не существует ни одного серийного беспилотного автомобиля 4 или 5 уровня по классификации SAE, однако многие производители оснащают автомобили ADAS — продвинутыми системами автоматизации вождения. Как правило, они умеют автоматически удерживать автомобиль в полосе, тормозить и отслеживать дорожные знаки. Каждый производитель отмечает, что ADAS — это именно система помощи, а не полноценная замена водителя, поэтому любые ее ошибки некритичны и их должен корректировать человек. Тем не менее, отчасти из-за позиции производителей, а отчасти из-за привыкание к ADAS и расслабления, часть людей фактически перекладывает ответственность на автопилот и не следит за дорогой.
Исследователи в области информационной безопасности все чаще ищут сценарии обмана ADAS для того, чтобы найти способы защита от них, а также — чтобы показать важность отслеживания дорожной ситуации за рулем. Например, в прошлом году китайские специалисты показали, что Tesla под управлением автопилота способна воспринимать точки на дороге в качестве разметки и сворачивать на встречную полосу. Однако это исследование, как и многие подобные ему, проходило в условиях, которые трудно воспроизвести в реальной жизни.
Исследователи под руководством Бена Насси (Ben Nassi) из Университета Бен-Гуриона в Негеве показали, что ADAS можно обмануть и более реалистичным способом, который не требует долгого и постоянного изменения дорожной среды — с помощью изображений, выводимых на дорогу и стены проектором или внедренных в ролики на рекламных экранах.
В качестве модельных устройств они использовали Tesla Model X с системой Autopilot, а также Renault Captur, оборудованный модульной системой Mobileye 630 Pro, выполняющей функции ADAS. Исследователи показали, что обе системы можно обмануть с помощью проецируемых на деревья или стены дорожных знаков, причем в одном из экспериментов устройство от Mobileye обманули проекцией с дрона — то есть при необходимости злоумышленник может адресно атаковать конкретный автомобиль. Кроме того, авторы показали, что эту систему можно обмануть, выведя на экран измененную рекламу с небольшим дорожным знаком, отображаемом на части кадров в течение долей секунды.
Самые опасные уязвимости исследователи обнаружили у автопилота Tesla, потому что он, в отличие от Mobileye, управляет автомобилем, а не выводит предупреждения. С помощью проектора на краю дороги они проецировали на асфальт пешехода и измененную разметку, и в обоих случаях алгоритмы сработали некорректно: в случае с пешеходом машина переехала его, распознав в последний момент, а разметка заставила автомобиль свернуть по направлению к бордюру.
В качестве защиты от подобных атак исследователи предлагают разработчикам систем помощи водителю обучать нейросети фильтровать объекты и вычислять среди них ненастоящие на основании контекста их расположения, относительного размера, освещения и текстуры. Исследователи заранее отправили свои результаты в Tesla и Mobileye, однако Mobileye ответила, что не считает это уязвимостью, а Tesla отказалась от комментариев, сославшись на модификацию автомобиля авторами. Они отмечают, что, вероятно, представители Tesla имели в виду включенный экспериментальный режим распознавания дорожных знаков.
У Tesla встречаются и другие критические уязвимости системы Autopilot. Например, в 2016 году Tesla Model S врезалась в светлый грузовик, не заметив его на фоне светлого неба, после чего водитель погиб. А спустя три года произошла практически идентичная смертельна авария с участием Model 3. После этого один из владельцев Tesla получил доступ к «сырым» данным системы Autopilot и обнаружил, что она некорректно обрабатывает данные, принимая полуприцепы грузовиков за высокие объекты, под которыми можно проехать.