За последние годы был достигнут огромный прогресс в области машинного обучения (MО), и его использование стало широко распространенным во многих новых приложениях, где данные можно собирать и обрабатывать на местном уровне. Эти данные могут быть использованы для обучения машинным моделям, которые, в свою очередь, могут быть использованы, например, для прогнозирования или поддержки в здравоохранении, автономных транспортных средств и многих других приложений. Однако столь стремительное распространение технологий делает их привлекательными для противников, желающих манипулировать такими механизмами в злонамеренных целях. Злоумышленники могут повлиять на алгоритмы принятия решений в рамках таких подходов, либо, заставляя модель получать желаемый результат, например, неправильно классифицировать аномальные события.
В 2011 году была опубликована ранняя таксономия состязательного машинного обучения, включающую категории влияния, нарушений безопасности и специфики. Это послужило отличной основой для категоризации атак, но с годами она, естественно, стала менее способна охватить более новые подходы. Важное значение фильтрации спама, учитывая рост атак на классификацию электронной почты, становится очевидным. Кроме того, рост глубинных нейронных сетей и распространение автоматизированных средств визуального распознавания превратилось в привлекательное поле для атак противников на машинное обучение.
Недавно Шумайлов опубликовал работу, в которой он использует табуированное поведение для выявления состязательных атак и повышения надежности классификатора против них. Состязательные атаки были замечены в целом ряде других приложений, таких как системы рекомендаций, модели авторегрессионного прогнозирования, системы биометрического распознавания, обнаружения мошенничества с кредитными картами. Существуют также атаки, которые изначально были созданы для одного приложения и могут быть одинаково эффективными для целого ряда других.
Таксономия не только предлагает простой способ классификации документов, в которых изучается широкий спектр атак на МО, но и является руководством к действию. Тем не менее, она предлагает новую перспективу разбивки различных типов функций, используемых для классификации различных атак, путем введения ряда фаз, с которыми каждая из них уникальным образом связана.
Атакующие модели
Модели атак, реализуют следующие типы атак: отравление и уклонение. Высокоуровневой целью этих моделей является максимизация ошибки обобщения классификации и, возможно, введение системы принятия решений в заблуждение в отношении желаемых вредоносных значений измерений. Система, использующая машинное обучение, нацелена на поиск гипотетической функции f, которая связывает наблюдаемые события в различные классы.
Нападения с уклонением
Противник может совершить атаку с целью уклонения от классификации на этапе тестирования, создавая неправильное восприятие системы. В этом случае цель противника состоит в том, чтобы добиться неправильной классификации некоторых данных, например, для того, чтобы они оставались скрытыми или имитировали какое-либо желаемое поведение. Что касается обнаружения сетевых аномалий, то систему обнаружения вторжений можно обойти, закодировав полезную нагрузку атаки таким образом, чтобы получатель данных мог ее расшифровать. Таким образом, злоумышленник может скомпрометировать систему-мишень. Дополнительной целью злоумышленника может быть смещение концепции в сторону системы, что приведет к непрерывной переподготовке системы, что значительно ухудшит ее работоспособность.
Ядовитые нападения
Противник может отравить набор данных по обучению. Для этого противник получает и вводит точку для снижения точности классификации. Эта атака способна полностью исказить классификационную функцию во время обучения, позволяя злоумышленнику определять классификацию системы любым удобным для него способом. Например, особенно коварной атакой в этой категории является бэкдор или троянская атака, при которой противник тщательно отравляет модель, вставляя бэкдорный ключ, чтобы убедиться, что он будет хорошо работать со стандартными данными обучения и проверенными образцами, но ведет себя неправильно только при наличии ключа. Таким образом, взломщик может выборочно совершить ошибку модели, введя ключи после развертывания модели.
Классификация
Хотя детали реализации атак против МО могут существенно различаться, их отдельные этапы можно разделить на два отдельных этапа: подготовка и манифестация.
Подготовка
На этом этапе злоумышленники определяют свои ресурсы и собирают разведывательные данные, необходимые для подготовки плана нападения. В данном случае характерными особенностями состязательного машинного подхода к обучению являются знания, необходимые злоумышленнику, а также тип техники. В связи с этим существуют следующие особенности:
- знания злоумышленника
- атаки Блэкбокса
- атаки белых ящиков
Алгоритм
В литературе используется большое количество разнообразных методов машинного обучения. Примечательно, что именно DNN и конволюционные нейронные сети обычно используются в области распознавания образов, в то время как при обнаружении спама чаще всего используются машины векторов поддержки и логистическая регрессия. Другие методы, такие как K-Means, K-Nearest Neighbour (KNN), Linear Regression, Community Discovery и Singular Value Decomposition, обычно используются для обнаружения вредоносных программ, биометрического распознавания, обнаружения сбоев сети и нарушений безопасности.
Теория игр
Состязательное машинное обучение, как правило, оснащено стратегическим элементом, в соответствии с которым в теории игр защитником является классификатор, а атакующим - генератор данных, направленный, например, на загрязнение набора данных по обучению. Противник стремится запутать классификацию или группирование с затратами, связанными, например, с процессом трансформации или вероятностью обнаружения. С другой стороны, защитник несет, например, расходы, связанные с неправильной классификацией образцов. Важность теории игр для защитника заключается в том, чтобы сделать классификаторы более осведомленными о состязательных действиях и более устойчивыми к ним.
Проявление
Это та фаза, когда противник начинает атаку на систему машинного обучения. В значительной степени зависящее от разведывательных данных, собранных на этапе подготовки, проявление нападения может быть охарактеризовано на основе следующих характеристик:
Специфика атаки. Это относится к диапазону данных точек, которые являются мишенью атакующего.
- В центре внимания атаки находится конкретная выборка или небольшой набор образцов.
- Противник атакует очень общий класс образцов, например, максимизация процента спама.
Тип атаки. Речь идет о том, как система машинного обучения подвергается атаке.
- Отравление. Отравляющие атаки изменяют тренировочный процесс, влияя на тренировочные данные.
- Уклонение. Атаки с целью уклонения используют неправильную классификацию, но не влияют на обучение.
Режим атаки. Злоумышленники работают самостоятельно. Альтернатива заключается в том, что различные злоумышленники могут сотрудничать не только для того, чтобы замести следы, но и для того, чтобы повысить эффективность.
Результат проявления атаки характеризуется, прежде всего, характером ее влияния на точность машинного подхода к обучению. Каждый документ оценивает это воздействие, используя различные подходы и метрики, используемые для его количественной оценки и выражения. Основная цель состязательного машинного обучения заключается в снижении эффективности процесса классификации или кластеризации, основанного на машинном обучении. Для проблем классификации это может быть истолковано как увеличение числа ложных срабатываний.