Он был опубликован KPMG — одной из «Большой четвёрки» аудиторских компаний мира
В октябре прошлого года KPMG опубликовала отчёт под названием «Total Experience: переопределение совершенства в эпоху агентного ИИ», в котором рассказывалось о том, как компании используют ИИ для удовлетворения потребностей клиентов. KPMG входит в «Большую четвёрку» профессиональных консалтинговых и аудиторских компаний мира наряду с Deloitte, PricewaterhouseCoopers и Ernst & Young. Однако, по-видимому, этот отчёт был полон галлюцинаций ИИ и содержал примеры агентных ИИ, которые либо не существовали, либо не обладали возможностями, указанными KPMG в документе. Исследователи из GPTZero (компания-разработчик инструмента для обнаружения контента, созданного ИИ) обнаружили в отчёте неточности и фальшивые сноски, что также было подтверждено Financial Times.
В своём отчёте о расследовании GPTZero сообщила, что только пять из 45 цитат в документе точно указывали на реальные источники. В общей сложности 28 цитат перефразировали названия или добавляли вымышленные компоненты к реальным источникам, а 12 были сформулированы слишком расплывчато, чтобы определить, существовали ли они на самом деле. GPTZero назвала создание ложных ссылок моделями ИИ «цитированием по настроению» (vibe citing).
Помимо поддельных или неточных цитат, исследователи также обнаружили, что примерно половина утверждений в документе были ложными или приписанными неверно. Они, вероятно, «были результатом того, что инструмент исследования ИИ чрезмерно подчинился запросу найти примеры "агентного ИИ" в реальной жизни», — написала GPTZero. В одном из примеров KPMG утверждала, что авиакомпания Emirates запустила мобильного чат-бота по имени Sara, который может общаться с пассажирами и изменять их рейсы. На самом деле Sara была мобильным помощником, запущенным в 2023 году, а не чат-ботом на базе ИИ, и у него также не было возможности изменять бронирования для пассажиров.
KPMG также утверждала, что швейцарский международный инвестиционный банк UBS внедрил агентный ИИ в свои «инвестиционное консультирование, управление рисками и мониторинг соответствия требованиям». Банк сообщил Financial Times, что эта информация была «фактически неверной». В другом примере KPMG заявила, что у Швейцарских федеральных железных дорог (SBB) есть агенты ИИ, которые могут помогать пассажирам планировать, бронировать и оптимизировать поездки на основе предпочтений, условий в реальном времени и углеродного следа. Представитель SBB заявил, что это «не соответствует действительности».
Документы таких компаний, как KPMG, обычно цитируются в других исследовательских работах и статьях, поскольку они считаются очень надёжными источниками. Генеральный директор GPTZero Эдвард Тянь объяснил, что пронизанные ошибками документы, публикуемые «Большой четвёркой», могут «отравить информационный колодец» и привести к «галлюцинациям ИИ второй руки». Представитель KPMG сообщил Financial Times, что компания «серьёзно относится к точности и целостности публикуемого ею контента». С тех пор KPMG отозвала этот документ и в настоящее время «изучает обстоятельства его публикации».