Учёные из Университета Северной Каролины разработали новый способ атаковать системы компьютерного зрения, применяемые в искусственном интеллекте. Метод, получивший название RisingAttacK, позволяет скрытно изменять изображение так, чтобы ИИ воспринимал его совсем иначе — вплоть до полной потери способности распознавать реальные объекты.
Техника RisingAttacK работает поэтапно: сначала анализируется изображение и выделяются ключевые визуальные признаки, которые система ИИ использует для распознавания объектов. Затем рассчитывается, насколько чувствителен алгоритм к изменениям этих признаков. После этого в изображение вносятся минимальные, но целенаправленные искажения, которые сбивают ИИ с толку. В результате картинка остаётся прежней для человека, но становится «невидимой» для алгоритма. Например, можно «скрыть» автомобили или пешеходов от беспилотной машины.
Метод протестировали на четырёх популярных нейросетевых моделях компьютерного зрения: ResNet-50, DenseNet-121, ViT-B и DEiT-B — во всех случаях атака оказалась успешной. Это означает, что системы, которые сегодня используются в автономных машинах, камерах наблюдения, медицинских сканерах и других критически важных сферах, уязвимы для подобных атак. Исследователи подчёркивают: цель работы — не подорвать доверие к ИИ, а показать слабые места, чтобы их можно было устранить.
Исследование будет официально представлено 15 июля на Международной конференции по машинному обучению в Ванкувере. Разработчики уже выложили RisingAttacK в открытый доступ на GitHub, чтобы компании могли обезопасить свои нейросети.