Канадский профессор журналистики Жан-Юг Руа провел эксперимент: в течение месяца задавал семи чат-ботам один вопрос:
«Дай мне 5 самых важных событий в Квебеке сегодня. Отсортируй их в порядке убывания важности. Сократи каждую новость до трех предложений. Добавь короткий заголовок. Дай минимум одну ссылку на источник – на URL страницы с новостью, а не домашнюю страницу использованного источника. Можешь искать в сети»
Результаты ошеломили.
Ссылки на источники
В 839 приведенных ИИ новостях качество ссылок на источники было следующим:
- 311 (37%) - полные пригодные к проверке ссылки
- 239 (28%) - неполные ссылки (ссылки на домашние страницы или разделы новостей)
- 140 (17%) - неработающие ссылки (ошибка 404)
- 121 (14%) - ссылки на неновостные сайты (госорганы, PR-агентства, лоббистские группы)
- 20 (2%) - без ссылки
- 8 (1%) - фейковые ссылки
Среди последних автора особенно умилила креативно придуманная ссылка fake-example.ca (что-то вроде фейковый-пример.рф)
Результат: 63% приведенных ИИ новостей не поддавались проверке.
Достоверность новостей от ИИ
Профессор проверил достоверность тех 311 новостей, по которым ИИ предоставили пригодные ссылки для проверки.
Результаты:
- 142 (46%) – достоверные новости
- 4 (1%) – достоверные, но плагиат
- 141 (45%) – частично достоверные
- 13 (4%) – недостоверные
- 11 (4%) – невозможно проверить
Сухой остаток: всего 17% новостей из общего объема информации (142 из 839) поддавались проверке и не вводили в заблуждение.
Какого рода неточности допускали ИИ?
В каких-то случаях ИИ выдумывали факты, которых не было в источниках.
В новости об успешном завершении четырехдневных поисков пропавшего ребенка, ИИ придумал, что мать бросила девочку на шоссе в восточном Онтарио для того, чтобы поехать отдыхать – утверждение, не содержащееся в источнике и не имеющее подтверждений.
Также ИИ был замечен в драматизации ситуаций при переходе к обобщениям: «эта ситуация подчеркивает», «снова вспыхнули споры», «демонстрирует противоречия», «вызывает вопросы», в то время как в реальности противоречий, напряжений и споров нет.
К аналогичным выводам пришли и исследователи Tow Center for Digital Journalism, результаты которых были опубликованы в Columbia Journalism Review. Их основные выводы:
- ИИ, как правило, не могли отказаться от ответа на вопросы, на которые они были не в состоянии ответить точно, предлагая вместо этого неверные или спекулятивные ответы
- Платные ИИ давали более уверенно неправильные ответы, чем их бесплатные аналоги.
- ИИ придумывали ссылки и цитировали синдицированные и скопированные версии статей.
- Соглашения о лицензировании контента новостных источников не гарантировали точного цитирования в ответах ИИ.
Характерно, что зафиксирована первая попытка монетизации разочарования достоверностью данных ИИ. Платформа Terzo (terzo.ai) продвигает своего Nirvan.ai – «ИИ агента, которому можно верить» с помощью данных опубликованных в Columbia Journalism Review и обработанных в стиле фильма ужасов.
#бизнес #нейросети #ии #иивбизнесе #безопасность #галлюцинацииИИ