Purple Team Diary's

4. Genetic Algorithm-based Attack (Атака использует генетические алгоритмы):

Описание: Эта атака использует генетические алгоритмы для поиска оптимальных изменений в тексте, которые вводят модель в заблуждение.

Пример: Исходный текст: "Небо голубое." Атакующий текст: "Небо лазурное."

Проверка: Атака считается успешной, если модель даёт другое предсказание для атакующего текста. Например, если модель классифицирует исходный текст как "день" и атакующий текст как "вечер", атака успешна.

Последствия: Злоумышленник может изменить результаты анализа или классификации, что может привести к неправильным выводам или решениям.

Рекомендации: Использование моделей, способных к более точному определению семантических различий, таких как XLNet или ALBERT. Применение методов, основанных на контрастном обучении (contrastive learning), для улучшения различения семантически близких примеров. Регулярное тестирование моделей на наборах данных с контрастными примерами.

5. BERT Attack (Атака использует модель BERT):

Описание: Эта атака использует модель BERT для генерации атакующих примеров, заменяя слова на те, которые сохраняют семантику, но изменяют предсказание модели.

Пример: Исходный текст: "Я счастлив." Атакующий текст: "Я рад."

Проверка: Атака считается успешной, если модель даёт другое предсказание для атакующего текста. Например, если модель классифицирует исходный текст как "позитивный эмоциональный отклик" и атакующий текст как "нейтральный эмоциональный отклик", атака успешна.

Последствия: Злоумышленник может изменить результаты анализа эмоциональной окраски текста, что может привести к неправильным выводам или решениям.

Рекомендации: Использование более сложных моделей, способных к более глубокому пониманию контекста и семантики, таких как T5 или BART. Применение методов, основанных на мультизадачном обучении (multi-task learning), для улучшения общего понимания текста. Регулярное тестирование моделей на наборах данных с измененными примерами, сгенерированными BERT.

6. Contrastive Learning-based Attack (Атака использует контрастное обучение):

Описание: Эта атака использует контрастное обучение для генерации атакующих примеров, которые сохраняют семантику, но изменяют предсказание модели.

Пример: Исходный текст: "Собака большая." Атакующий текст: "Пёс крупный."

Проверка: Атака считается успешной, если модель даёт другое предсказание для атакующего текста. Например, если модель классифицирует исходный текст как "описание собаки" и атакующий текст как "описание животного", атака успешна.

Последствия: Злоумышленник может изменить результаты анализа или классификации, что может привести к неправильным выводам или решениям.

Рекомендации: Использование моделей, способных к более точному определению семантических различий, таких как XLNet или ALBERT. Применение методов, основанных на контрастном обучении (contrastive learning), для улучшения различения семантически близких примеров. Регулярное тестирование моделей на наборах данных с контрастными примерами.

#MLSecOps

Атаки на текстовые классифкации (Часть 2)