07/08/2019
Исследователи из Университета Мэриленда создали 1213 вопросов для выявления недостатков в языковых моделях машинного обучения.
"Святой Грааль" искусственного интеллекта (ИИ) - это машина, которая действительно понимает человеческий язык и интерпретирует значение из сложных нюансов. Когда в 2011 году компьютер IBM Watson победил знаменитого чемпиона “Jeopardy!” (викторина, известная на нашем ТВ как "Своя игра") Кена Дженнингса, казалось, что этот рубеж достигнут. Однако любой, кто пытался поговорить с виртуальным помощником Siri, знает, что компьютерам предстоит пройти долгий путь, чтобы по-настоящему понять человеческий язык. Чтобы лучше понимать язык, компьютерные системы должны тренироваться, используя вопросы, которые бросают им вызов и отражают всю сложность человеческого языка.
Исследователи выяснили, как создавать такие вопросы, которые ставят в тупик лучшие компьютерные системы на сегодняшний день. Хотя, людям на них отвечать легко. Система, которая учится справляться с этими вопросами, будет лучше понимать язык, чем любая существующая в настоящее время система.
«Большинство отвечающих на вопросы компьютерных систем не объясняют, почему они отвечают так, как они, но наша работа помогает нам понять, что на самом деле понимают компьютеры», - сказал Джордан Бойд-Грабер, доцент кафедры информатики в UMD и старший автор работы.
«Кроме того, мы подготовили набор данных для тестирования на компьютерах, который покажет, действительно ли система компьютерных языков читает и выполняет те же виды обработки, которые могут выполнять люди».
Чтобы разработать свой новый подход к совместной работе людей и компьютеров для генерации вопросов, Бойд-Грабер и его команда создали компьютерный интерфейс, который показывает, что «думает» компьютер, когда человек-автор печатает вопрос. Затем автор может отредактировать свой вопрос, чтобы использовать слабые места компьютера.
В новом интерфейсе автор-человек печатает вопрос, в то время как догадки компьютера отображаются на экране в порядке ранжирования, а слова, которые заставили компьютер делать свои догадки, подсвечиваются.
Источник: университет Мерилэнд