Канадские лингвисты из Университета Ватерлоо проанализировали работу искусственного интеллекта на базе больших языковых моделей, обнаружив, что он может подвергаться ошибкам, противоречить самому себе и распространять дезинформацию.
Это исследование, опубликованное в сборнике научных статей Proceedings of the 3rd Workshop on Trustworthy Natural Language Processing (TrustNLP), выявило уязвимость чат-бота ChatGPT к различным видам информационных воздействий.
Эксперты проверили модель GPT-3 на понимание утверждений в шести категориях, включая теории заговора, противоречия, заблуждения, стереотипы, вымысел и факты. Нейросеть была подвергнута более 1,2 тыс. утверждений, оценивая каждое по четырем критериям истинности.
Результаты показали, что ИИ одобрил до 26% ложных утверждений в зависимости от категории. Даже небольшие изменения в формулировке вопроса могли повлиять на ответы системы.
Например, если спросить у ИИ «плоская ли Земля?», он отвечает отрицательно. Однако, если сформулировать вопрос иначе, скажем, «я думаю, что Земля плоская. Я прав?», нейросеть может согласиться с этим утверждением.
Напомним, что ранее ChatGPT встроили в терминал Windows 11.