Введение
Впервые о существовании (малых) возмущений, которые вызывают ошибку прогнозирования в моделях машинного обучения, было обнаружено и обсуждено в работе Сегеды.
В качестве примеров противоречивых вводимых ресурсов они назвали возмущенные факторы производства. Такие возмущения легко найти, оптимизируя входные данные для получения максимальной погрешности прогнозирования.
После этого открытия была предложена концепция состязательной подготовки, основная идея которой заключалась в подготовке моделей, способных правильно классифицировать как первоначальные учебные данные, так и примеры состязательности, полученные на основе учебных данных.
Используя AdvT, мы можем еще больше улучшить обобщающую производительность моделей. Это улучшение подразумевает, что функция потерь от состязательных примеров работает в качестве хорошего регулятора во время модельного обучения.
В настоящее время для обработки нейронных изображений решающее значение имеет метод генерации состязательных примеров, как для повышения производительности задач, так и для анализа поведения
нейронных моделей "черного ящика".
В отличие от большого успеха в области обработки изображений, AdvT не может быть легко применен к задачам в области обработки естественного языка (NLP). Это связано с тем, что мы не можем вычислить возмущенные входы для задач в поле NLP, так как входы состоят из дискретных символов, которые не являются непрерывным пространством, используемым для обработки изображений.
Недавно была предложена новая стратегия по улучшению AdvT для задач НЛП, основная стратегия которой проста и понятна: применение AdvT к непрерывному пространству встраивания слов, а не к дискретному пространству ввода текста. Их метод сохраняет теоретические знания, разработанные в области обработки изображений, и работает как регулятор.
Фактически, этот метод значительно улучшил выполнение задач и обеспечил современное выполнение ряда задач по классификации текста. Еще одним заметным достоинством этого метода является лаконичная архитектура Для получения состязательных возмущений требуется только градиент функции потерь.
Обратите внимание, что градиентный расчет является стандартной методикой расчета для обновления параметров модели во время тренировки. Мы можем получить в пространстве встраивания состязательные возмущения с удивительно низкими затратами на вычисления без использования какой-либо дополнительной сложной архитектуры.
Взаимодействие
Несколько исследований применили идеи AdvT к определенным задачам НЛП. Был предложен метод, который вводит в заблуждение системы понимания чтения, добавляя предложения в конце абзацев с использованием метода краткосрочного доступа.
Случайные замены символов могут нарушить результаты работы нейронных машинных систем перевода, и поэтому они предложили использовать в своих моделях методы AdvT, которые генерируют случайные замены символов и используют полученные предложения в качестве дополнительных обучающих данных. Более того, метод генерировал большое количество предложений, заменяя слово синонимом.
Основная стратегия создания примеров противостояния в области НЛП явно отличается от стратегий, разработанных в области обработки изображений, которые являются достаточно разовыми, например, использование человеческих знаний, словарей или требуют таких дорогостоящих процедур как исчерпывающий поиск.
Эти методы по существу не основаны на обсуждавшейся ранее идее возмущений, которая впервые обсуждалась для создания примеров противостояния.
В отличие от этого, наш базовый метод сохраняет теоретическую основу, разработанную в области обработки изображений.
Таким образом, обратите внимание, что методы, рассмотренные в данной работе, заимствуют стратегию, отличную от текущей первичной стратегии, используемой в области НЛП, как описано выше.
Эксперименты
Мы провели эксперименты по задаче классификации настроений (SEC), задаче классификации категорий (CAC) и задаче обнаружения грамматических ошибок (GED) для оценки эффективности наших методов - iAdvT-Text и iVAT-Text.
SEC - это задача классификации текста, которая классифицирует данный текст на положительный или отрицательный класс.
GED - это задача маркировки последовательности, которая идентифицирует слова и символы.
Базы данных
Для SEC мы использовали следующие хорошо изученные контрольные наборы данных: IMDB, Elec и Rotten Tomatoes.
В нашем эксперименте с набором данных Rotten Tomatoes мы использовали примеры из набора данных Amazon Reviews без маркировки.
Для ЦАК мы использовали DBpedia и RCV. Поскольку в наборе данных DBpedia нет дополнительных примеров без маркировки, результаты DBpedia предназначены только для выполнения задачи обучения под наблюдением.
В соответствии с работами Миято и др. мы разделили исходные данные тренинга на предложения по обучению и развитию.
Для GED мы использовали первый сертификат из английского набора данных (FCE-public).
Настройки модели
Для корректного сравнения наших методов с предыдущими мы использовали описанные выше конфигурации моделей для SEC и GED.
Кроме того, после публикации работы Миято, мы инициализировали встроенные слова и весовые коэффициенты LSTM с помощью предварительно подготовленной модели языка на основе RNN, которая была подготовлена по методу обучения и не обозначенных данных, если они имелись.
Для снижения вычислительной стоимости потерь программного обеспечения мы используем Adaptive Softmax для обучения языковой модели.
Мы использовали критерий раннего предупреждения, основанный на показателях, измеренных по наборам показателей развития.
Кроме того, мы внедрили наши методы (iAdvT-Text и iVAT-Text) и повторно реализовали предыдущие методы (AdvTText и VAT-Text) с помощью Chainer при поддержке GPU.
Все четыре метода имеют общие суб-модули, такие как модели на основе RNN, в нашей реализации. Поэтому наши внутренние эксперименты сравниваются в одинаковых условиях.
Заключение
В этой статье обсуждалась возможность толкования состязательной подготовки на основе состязательности, которая применяется к задачам в области НЛП.
Наше предложение ограничивало направления возмущений по отношению к расположению существующих слов в слове "встраивание пространства".
Мы продемонстрировали, что наши методы могут успешно генерировать разумные состязательные тексты и интерпретируемые визуализации возмущений в пространстве ввода, что, по нашему мнению, в значительной степени поможет исследователям проанализировать поведение модели.
Кроме того, мы подтвердили, что наши методы, iAdvT-Text и iVAT-Text, поддерживают или улучшают самые современные характеристики, полученные с помощью наших базовых методов, AdvT-Text и VAT-Text, в хорошо изученной классификации настроений (SEC), классификации категорий (CAC) и контрольных наборах данных обнаружения грамматических ошибок (GED).