Тестирование ChatGPT показало недостаточную точность в поиске источников новостей

Специалисты Центра цифровой журналистики Tow при Колумбийском университете провели исследование, в ходе которого тестировался поисковик популярного чат-бота на базе искусственного интеллекта ChatGPT компании OpenAI. Результаты тестирования выявили, что алгоритм неэффективно справляется с поиском источников новостей и часто выдает неточные ответы.

OpenAI открыла доступ к функции поиска в ChatGPT в октябре текущего года, утверждая, что она обеспечивает «быстрые и актуальные ответы со ссылками на соответствующие веб-источники». Однако тестирование показало, что чат-бот испытывает трудности в распознавании цитат, даже из статей, опубликованных издателями, которые разрешили OpenAI использовать свой контент для обучения.

В исследовании была поставлена задача, где авторы попросили ChatGPT указать источники двухсот цитат из двадцати источников. Из них сорок цитат были взяты из ресурсов, которые закрыли доступ к своим сайтам для поискового алгоритма. Тем не менее, чат-бот уверенно предоставлял ложную информацию, а в некоторых случаях выражал сомнения в достоверности ответа.

Исследователи зафиксировали, что ChatGPT выдал частично или полностью неправильные ответы в 153 случаях. Лишь в семи случаях система указала на свою неуверенность с помощью словосочетаний, таких как «похоже», «это возможно» и аналогичных выражений. Например, при поиске источника цитаты из статьи New York Times о находящихся под угрозой исчезновения китах, бот выдал ссылку на сайт, который просто скопировал оригинальную статью.

Таким образом, результаты тестирования ставят под сомнение эффективность поисковой системы на базе ChatGPT, которая, как показали эксперименты, предоставляет недостоверную информацию на большинство запросов.

Есть о чем рассказать? Пишите в наш телеграм-бот. Это анонимно и быстро.

]]>