Благодаря сотрудничеству человека и компьютера, создав набор из более чем 1200 вопросов, на которые сегодня легко найти ответ, но которые, несмотря на это, ставят под сомнение лучшие системы компьютерных ответов. Система, которая учится справляться с этими вопросами, будет лучше понимать язык, чем любая существующая в настоящее время система.
Одной из конечных целей искусственного интеллекта является машина, которая по-настоящему понимает человеческий язык и интерпретирует смысл сложных, нюансированных отрывков. Когда в 2011 году компьютерная команда IBM Watson обыграла знаменитого чемпиона "Jeopardy!" Кена Дженнингса, казалось, что эта веха была достигнута. Тем не менее, любой, кто пытался поговорить с виртуальным помощником Сири, знает, что компьютерам предстоит пройти долгий путь, чтобы по-настоящему понять человеческий язык. Чтобы лучше понимать язык, компьютерные системы должны обучаться, используя вопросы, которые бросают им вызов и отражают всю сложность человеческого языка.
Исследователи из Университета Мэриленда выяснили, как надежно создать такие вопросы благодаря сотрудничеству человека и компьютера, разработав набор данных из более чем 1200 вопросов, на которые сегодня легко найти ответ, но которые, несмотря на это, ставят под сомнение лучшие системы компьютерных ответов. Система, которая учится справляться с этими вопросами, будет лучше понимать язык, чем любая существующая в настоящее время система. Об этом говорится в статье, опубликованной в номере журнала "Транзакции Ассоциации вычислительной лингвистики" за 2019 год.
"Большинство компьютерных систем, отвечающих на вопросы, не объясняют, почему они отвечают именно так, но наша работа помогает нам увидеть, что на самом деле понимают компьютеры",
- сказал Джордан Бойд-Грейбер, старший преподаватель информатики в UMD.
"Кроме того, мы создали набор данных для тестирования на компьютерах, который покажет, действительно ли компьютерная языковая система читает и выполняет те же действия, что и люди".
В большинстве современных работ по улучшению программ для ответа на вопросы используются либо авторы, либо компьютеры для генерирования вопросов. Присущая этим подходам проблема заключается в том, что, когда люди пишут вопросы, они не знают, какие именно элементы их вопросов сбивают с толку компьютер. Когда компьютеры пишут вопросы, они либо пишут формулы, заполняют пустые вопросы, либо совершают ошибки, порождая иногда бессмыслицу.
Чтобы разработать свой новаторский подход, когда люди и компьютеры работают вместе над созданием вопросов, Бойд-Грейбер и его команда создали компьютерный интерфейс, который показывает, что такое компьютер, когда человек-писатель набирает вопрос. Затем автор может отредактировать свой вопрос, чтобы использовать слабые места компьютера.
В новом интерфейсе автор вводит вопрос, в то время как на экране появляются ранжированные по порядку догадки компьютера, а слова, которые привели компьютер к таким догадкам, подсвечиваются.
Например, если автор пишет "Какие композиторские вариации на тему Гайдна вдохновил Карл Фердинанд Поль" и система правильно отвечает "Йоханнес Брамс", то интерфейс выделяет слова "Фердинанд Поль", чтобы показать, что эта фраза привела его к ответу. Используя эту информацию, автор может отредактировать вопрос, чтобы сделать его более трудным для компьютера, не изменяя его значения. В этом примере автор заменил имя человека, вдохновившего Брамса "Карл Фердинанд Поль", описанием своей работы, "архивариус Венского музыкального музея", и компьютер не смог дать правильный ответ. Тем не менее, опытные игроки человеческой викторины в игре все еще может легко ответить на отредактированный вопрос правильно.
Работая вместе, люди и компьютеры надежно разработали 1213 вопросов, которые исследователи протестировали во время соревнований с опытными игроками - от младших классов средней школы до чемпионов "Jeopardy!" - против компьютеров. Даже самая слабая человеческая команда победила сильнейшую компьютерную систему.
"В течение трех-четырех лет люди знали, что компьютерные системы ответа на вопросы очень хрупкие и легко поддаются обману,
- говорит Ши Фенг, выпускница факультета информатики УМД.
"Но это первая известная нам статья, в которой используется машина, чтобы помочь людям разрушить саму модель."
Исследователи говорят, что эти вопросы послужат не только новым набором данных для компьютерщиков, позволяющим лучше понять, где происходит сбой в обработке естественного языка, но и набором учебных данных для разработки усовершенствованных алгоритмов машинного обучения. Вопросы выявили шесть различных языковых феноменов, которые постоянно мешают работе компьютеров.
Эти шесть явлений делятся на две категории. В первую категорию входят лингвистические феномены: перефразирование (например, выражение "прыгать с пропасти" вместо "прыгать со скалы"), отвлекающий язык или неожиданный контекст (например, упоминание политического деятеля, появляющегося в подсказке о чем-то, не связанном с политикой). Вторая категория включает навыки мышления: подсказки, требующие логики и вычисления, умственную триангуляцию элементов вопроса или составление нескольких шагов для формирования заключения.
"Люди способны обобщать больше и видеть более глубокие связи",
- сказал Бойд-Грейбер.
"У них нет бесконечной памяти компьютеров, но они все еще имеют преимущество в том, что могут видеть лес за деревьями. Каталогизация проблем, с которыми сталкиваются компьютеры, помогает нам понять проблемы, которые нам необходимо решить, чтобы мы могли получить компьютеры, чтобы начать видеть лес сквозь деревья и отвечать на вопросы так, как это делает человек".
Еще многое предстоит сделать, прежде чем это произойдет, добавил Бойд-Грейбер, который также является одним из сотрудников Института передовых компьютерных исследований Университета Мэриленда (UMIACS), а также Колледжа информационных исследований и Центра языковедения при Университете Мэриленда (UMMD). Но эта работа представляет собой новый захватывающий инструмент, который поможет компьютерщикам достичь этой цели.
"В этой статье излагается программа исследований на ближайшие несколько лет, чтобы компьютеры могли дать правильные ответы на вопросы",
- сказал он.
