Введение
Ответы на вопросы (QA) - это давняя цель обработки естественного языка. При решении этой задачи сформировались две основные парадигмы: 1) ответы на вопросы на базе знаний; и 2) ответы на вопросы с использованием текстовых баз знаний (БЗ) содержат факты, выраженные в фиксированной схеме, облегчающей композиционное обоснование.
Эти исследования привлекали внимание еще с первых дней развития компьютерных наук, например, BASEBALL.
Эта проблема выросла в изучение семантических пар от параллельных пар вопросов и логических форм до недавнего масштабирования методов работы на очень больших KB типа Freebase с использованием пар вопросов и ответов.Однако основным недостатком этой парадигмы является то, что КБ являются крайне неполными.
Кроме того, остается открытым вопрос, является ли реляционная структура КБ достаточно выразительной, чтобы представлять мировые знания.
Степень использования текста для вопросов началась в начале 1990-х годов. С появлением Интернета доступ к текстовым ресурсам стал обильным и дешевым. В популяризации этой парадигмы помогли такие инициативы, как конкурсы ТРЕК по ОК.
Благодаря последним достижениям в углубленном изучении и доступности больших массивов общедоступных данных, за очень короткое время произошел взрыв исследований.
Однако, текстовое представление является не структурированным и не допускает композиционных рассуждений, которые поддерживает структурированный KB.
Важной, но недостаточно изученной парадигмой ОК является совместное использование КБ и текста. Такое сочетание привлекательно тем, что текст содержит миллионы фактов, отсутствующих в КБ, а производственная способность КБ представляет собой бесконечное количество фактов, которые никогда не встречаются в тексте.
Вывод ОК по этой комбинации, однако, является сложным из-за структурной неоднородности КБ и текста.
Методы дистанционного наблюдения решают эту проблему частично за счет согласования текстовых моделей с KB.
В то же время богатая и неоднозначная природа языка позволяет выразить факт во многих различных формах, которые эти модели не могут быть отражены.
Предыстория
Определение проблемы при задании вопроса, где эти слова содержат один пустой и хотя бы один объект, наша цель - заполнить этот пустой объект ответа qa с помощью базы знаний K и текста T.
Обычно универсальная схема используется для извлечения связей в контексте популяции базы знаний.
Строки в схеме образуются парами объектов (например, USA, NYC), а в столбцах представлена связь между ними. Отношение может быть либо KB-отношением, либо образцом текста, который существует между этими двумя объектами в большом корпусе.
Внедрение объектов и типов отношений изучается с помощью методов факторной обработки низших звеньев матрицы.
В работе Риделя и др. текстовые шаблоны рассматриваются как статические символы, а в недавней работе Верги и др. они заменяются распределенным представлением предложений, полученных RNN.
Использование распределенного представления позволяет аргументировать предложения, которые схожи по смыслу, но отличаются друг от друга по форме поверхности.
Сети памяти MemNNs Memory Networks представляют собой модели нейронного внимания с внешней и дифференцируемой памятью.
MemNNNs отделяет компонент памяти от сети, что позволяет ему хранить внешнюю информацию.
В предыдущих работах они успешно применялись для ответов на вопросы по КБ, где память заполнена распределенным представлением тройняшек КБ, или для понимания чтения, где память состоит из распределенного представления предложений в понимании.
В последнее время вводится ключевое значение MemNNN, где каждый разъем памяти состоит из ключа и значения.
Вес внимания вычисляется только путем сравнения вопроса с ключевой памятью, в то время как значение используется для вычисления контекстного представления для прогнозирования ответа.
В своих экспериментах Миллер и др. хранят в памяти тройки КБ или предложения, но они явно не моделируют множественные воспоминания, содержащие различные источники данных.
Эксперименты
Ознакомительные данные используется Freebase в работе в качестве базы знаний, а ClueWeb в качестве источника текста для построения универсальных схем.
Для оценки литература предлагает два варианта: 1) наборы данных для текстовых ответов на вопросы, такие как выбор предложения ответа и понимание прочтения; и 2) наборы данных для ответов на вопросы в формате KB.
Хотя текстовые наборы данных для ответов на вопросы очень большие, например, SQuAD содержит более 100 тыс. вопросов, ответы на которые часто не являются объектами, а скорее предложениями, не являющимися предметом нашей работы. Более того, эти тексты могут вообще не содержать объектов Freebase, что делает их сильно смещенными в сторону текста.
В качестве альтернативы можно привести WebQuestions, широко используемый для обеспечения качества на бесплатной основе.
Этот набор данных хранится таким образом, чтобы на все вопросы можно было ответить только на Freebase. Но поскольку наша цель состоит в изучении влияния универсальной схемы, тестирование набора данных, полностью отвечающего требованиям KB, не идеально. Набор данных WikiMovies также имеет аналогичные свойства.
Гарднер и Кришнамурти создали набор данных с аналогичными мотивами, однако он не был обнародован во время подачи заявки.
Вместо этого мы используем SPADES в качестве оценочных данных, которые содержат заполненные пустые вопросы в стиле "клоунады", созданные на ClueWeb.
Этот набор данных идеально подходит для проверки нашей гипотезы по следующим причинам: 1) он большой с предложениями 93K и 1,8 млн. юридических лиц; и 2) поскольку они собраны из Интернета, большинство предложений являются логичными.
Ограничением этого набора данных является то, что он содержит только те предложения, которые имеют сущности, связанные хотя бы одним отношением во Freebase, что делает его смещенным в сторону Freebase.
В своих экспериментах мы используем стандартный состав, конструкторские и тестовые расщелины. Для текстовой части универсальной схемы мы используем предложения, присутствующие в тренировочном наборе.
Выводы
В этой работе мы показали, что универсальная схема является перспективным источником знаний для QA, чем использование только КБ или текста.
Наши результаты показывают, что, хотя КБ предпочтительнее текста, когда КБ содержит интересующий факт, большая часть запросов все еще приходит к тексту, указывающему на слияние текста и КБ, и выше, чем только КБ.
