Специалисты из Института интеллектуальных систем им. Макса Планка и Тюбингенского университета провели исследование беспилотных автомобилей на предмет безопасности. Инженеры проверяли, как авто справляются с распознаванием человеческих фигур.
Происходит тотальный сбой системы, беспилотный автомобиль может уйти с полосы или неожиданно затормозить. Чем-то это напоминает эффект, когда стробоскопические вспышки определенной частоты вызывают у некоторых людей эпилептические припадки. То есть через зрение искусственным образом вызывается сбой функций организма, в этом смысле мозг человека и беспилотника имеют что-то общее.
По словам ученых, всего за четыре часа им удалось создать образец цветовых сочетаний, вызывающих у беспилотного автомобиля состояние сродни панике, и это становится угрозой безопасности. Узор можно легко нанести на футболки или сделать наклейки на дорожные знаки или хозяйственные сумки. Хакеры тоже могут этим воспользоваться, предупреждают исследователи.
Проблема заключается в несовершенстве искусственного интеллекта, которое проявляется при распознавании изображений. Алгоритм использует встроенную камеру для наблюдения за окружающей средой, такой как дорога перед автомобилем, и для обнаружения препятствий. Если распознавание дает сбой, машина-робот в лучшем случае останавливается из соображений безопасности.
Авторы исследования подчеркнули, что такой баг возникает с вероятностью всего несколько процентов, но этого достаточно, чтобы беспилотник стал вести себя непредсказуемо. Эксперимент показал, что, если камера авто несколько раз увидит одно и то же пятно, ее реакция будет каждый раз особенной.
Разумеется, ученые и программисты со временем решат эту проблему, но пока она остается. Исследователи полагают, что теперь задача автопроизводителей — обучить свои системы быть устойчивыми к таким атакам.
