Ученые из Великобритании заявили о том, что могут определить, когда чат-боты на основе ИИ лгут, а когда — нет. Своими доводами они поделились с журналом Nature. Специалисты утверждают, что для существующих чат-ботов характерна конфабуляция, представляющая собой воспроизведение воспоминаний, где факты чередуются с вымыслом. По сути, искусственный интеллект не способен на обман, он может выдавать неточные ответы. Такая ситуация происходит, когда у системы нет верного ответа на поставленный вопрос, или же этот вопрос звучит двусмысленно.
Источник изображения: Lidanews
Исследователи в своем проекте сосредоточились на семантической энтропии. Суть метода заключается в том, чтобы задавать ИИ один и тот же вопрос несколько раз. Полученные ответы следует сравнивать. Если большое число имеет одно и то же значение, ИИ-модель не уверена в формулировке запроса, но не сомневается в своем ответе. Если же ответы разные, это указывает на то, что система не располагает данными, которые помогут разобраться в том или ином вопросе. Метод ученых из Великобритании работает путем выборки возможных ответов ИИ на вопрос.
