Британские ученые разработали метод, позволяющий с высокой точностью определять, ложь чат-ботов на основе искусственного интеллекта (ИИ). Результаты исследования опубликованы в журнале Nature.
Конфабуляция
Таким термином ученые определяют «ложную память» человека, когда реальные воспоминания смешиваются с вымышленными. Британские исследователи утверждают, что зачастую нейросети работают по такому же принципу — к историческим актам они «примешивают» вымышленные, что порой и приводит к казусам.
Ненамеренная ложь
Надо понимать, что ChatGPT и другие чат-боты не лгут намеренно. Просто они могут выдавать неточную или неполную информацию, если не располагают всей необходимой для ответа на вопрос базой знаний. Кроме того, на некоторые вопросы можно ответить по-разному, что приводит к статистической неопределенности. Это происходит, когда чат-бот не уверен, как правильно сформулировать ответ, или не знает его в принципе.
Новый метод анализа
Для решения этой проблемы ученые предложили метод, основанный на анализе семантической энтропии. Суть его заключается в том, что один и тот же вопрос задается ИИ несколько раз, а затем сравнивается количество семантически эквивалентных ответов. Если большинство ответов совпадают, это означает, что ИИ хоть и не уверен в формулировке, но обладает верным ответом. В противном случае велика вероятность того, что чат-бот лжет.
Как это работает
Как объяснил один из авторов исследования, метод работает путем выборки нескольких возможных ответов на каждый заданный вопрос последующего анализа полученных ответов. Так, например, если из предложения А следует, что предложение Б истинно, и наоборот, то эти предложения можно считать эквивалентными и верными.
По словам ученых, разработанный метод может быть использован для повышения безопасности и надежности систем, основанных на ИИ: чат-ботов, виртуальных ассистентов или систем автоматического перевода.
The post Найден способ поймать ИИ на лжи appeared first on Русская семерка.
