Пяти сантиметров черной изоленты было достаточно для того, чтобы два исследователя из McAfee смогли перехитрить искусственный интеллект в высокотехнологичном автомобиле Теслы.
Звучит банально, что там сделали два эксперта по безопасности Стив и Джулиан . Но за этим стоит много знаний об алгоритмах распознавания образов и обработки изображений
Тесла неверно истолковывает дорожные знаки
На первый взгляд, Стив и Джулиан просто приклеили кусок изоленты в середине номера "3" на американском дорожном знаке, который указывает на ограничение скорости 35 миль в час. Люди все еще сразу видят, что им разрешено проехать только 35 миль.
Но искусственный интеллект в Тесле интерпретировал это как дорожный знак, который позволял 85 миль в час. Требовалась большая подготовительная работа, чтобы система камер, включая распознавание образов, которая была установлена в тестовой машине Тесла, неправильно классифицировала дорожный знак.
Рассчитать возможные манипуляции с помощью алгоритмов
Во-первых, исследователи потратили много времени, пытаясь выяснить, как именно работает распознавание образов. Он оценивает дорожный знак попиксельно, а затем вычисляет вероятность того, что это за дорожный знак.
Обладая именно этим знанием того, как алгоритмы классифицируют дорожные знаки, эксперты по безопасности затем точно рассчитали, как нужно менять дорожный знак, чтобы можно было манипулировать системой помощи водителю.
Искусственный интеллект не распознает подготовленные знаки остановки
В результате этих расчетов наклейки для знака остановки были размещены над и под надписью «Стоп». Эти наклейки гарантируют, что искусственный интеллект программного обеспечения для распознавания образов не «видит» и не классифицирует знак остановки, а скорее информационный знак «дополнительная полоса».
Автомобиль не просто остановится у слияния дороги с этим подготовленным знаком остановки, но и просто продолжит движение. И это может привести к серьезной аварии.
Неизведанные эпизоды "Модели взлома"
Стив и Джулиан называют эти атаки «взломом модели», потому что они в основном используют те же методы атаки, что и атаки на системы машинного обучения. Этот тип атаки был предметом интенсивных исследований, особенно в области распознавания изображений и распознавания образов.
Физические атаки на искусственный интеллект с помощью наклеек или других манипуляций с изображением так долго не обсуждались. Прежде всего, влияние таких манипуляций на системы помощи водителю все еще в значительной степени необъяснимо.
Пять сантиметров изоленты достаточно для манипуляций
Вот почему Стив и Джулиан также привели на борт эксперта по безопасности Марка Береза. Он много знает о системах помощи водителю.
На испытательном треке трое из них закрывали дорожный знак, указывающий ограничение скорости в 35 миль с пятью сантиметрами изоленты в центре номера "3". Марк Береза установил функцию «Автоматическая круизная скорость» в своем Tesla и отправился в путь.
Система помощи водителю ускоряется сразу
Когда Тесла проехал мимо дорожного знака, распознавание образов достигло максимальной скорости 85 миль. Система помощи водителю сразу же ускорилась, потому что скорость была намного ниже допустимой максимальной скорости.
Тем не менее, Марк Береза затем вмешался и замедлился через короткое время. Потому что, конечно, он не хотел отказываться от своей дорогой Теслы. Однако эксперимент очень ясно показывает, что физическое «взлом модели» с манипулированием дорожными знаками, которое не обязательно воспринимается людьми, может быть довольно опасным в сотрудничестве с помощниками водителя.