Узнайте о термине «когнитивная капитуляция» — тенденции, когда пользователи ИИ слепо доверяют ответам LLM, даже неверным. Как только вы узнаете этот термин, вы, к сожалению, увидите его повсюду. — gizmodo.com
Кайл Орланд из ArsTechnica написал статью в блоге о термине «когнитивная капитуляция» 3 апреля. Возможно, мне следовало заметить это раньше, поскольку этот термин циркулирует в сети как минимум с января, когда, по всей видимости, он был придуман в этом контексте исследователями маркетинга из Wharton Business School Стивеном Шоу и Гидеоном Нейвом. Их статья невероятно тревожна, и как только вы прочитаете об этих выводах, термин «когнитивная капитуляция» тоже засядет у вас в голове.
Если ваш мозг слишком размяк от перекладывания размышлений на чат-бота, и теперь вы не можете вникнуть в детали этих открытий, вот видео, где авторы рассказывают о них:
Шоу и Нейв провели тест среди 1372 человек, предоставив им доступ к чат-боту с искусственным интеллектом для помощи — с тем условием, что чат-бот иногда давал неверные ответы. Тест представлял собой «адаптированную» версию так называемого Теста когнитивного отражения, что означает, что каждый вопрос был определенным типом головоломки, которую вы видели раньше:
«Если 5 машинам требуется 5 минут, чтобы изготовить 5 виджетов, сколько времени потребуется 100 машинам, чтобы изготовить 100 виджетов?»
Ответ — «5 минут», что требует использования вашего «медленного, обдуманного и аналитического мышления», а не вашей «быстрой, интуитивной и аффективной обработки». Ваша быстрая интуиция могла подсказать вам, что ответ — 100 минут. Это концепции, прославленные замечательной (хотя и не идеальной) книгой, которую можно найти в аэропорту, под названием Думай медленно… решай быстро покойного Даниэля Канемана, которая касается быстрого и медленного мышления.
Результаты теста, разумеется, были ужасающими. Хотя, прежде чем мы пойдем дальше, я должен добавить, что вам следует почитать о кризисе репликации, прежде чем принимать результаты любого эксперимента как непреложную истину. Достоверность экспериментальных результатов, особенно в психологии, иногда ставилась под сомнение в последние годы, поскольку их не удается воспроизвести. Это не означает, что я заметил проблемы в работе этих авторов (я, безусловно, не вправе это делать), просто это тенденция, о которой стоит упомянуть.
Так или иначе, в той части исследования, где испытуемым разрешалось консультироваться с чат-ботом, они делали это примерно в половине случаев. Когда бот давал правильные ответы, они принимали их в 93 процентах случаев. К сожалению, когда он ошибался, они принимали ответы в 80 процентах случаев. И помните, им не нужно было им пользоваться вообще. Они позволяли плохим советам перевесить собственный мозг. Что еще хуже, те, кто пользовался ИИ, оценивали свою уверенность на 11,7 процента выше, чем те, кто этого не делал, даже несмотря на то, что ответы были неверными.
Авторы пишут, что в дополнение к быстрому и медленному «системам» познания Канемана, этот новый искусственный костыль создает то, что они называют «Системой 3».
Авторы пишут:
Наши выводы показывают, что люди охотно включают результаты, сгенерированные ИИ, в свои процессы принятия решений, часто с минимальным сопротивлением или скептицизмом. Это бесшовное взаимодействие с Системой 3 подчеркивает ее потенциал для улучшения повседневного познания за счет снижения когнитивных усилий, ускорения принятия решений и дополнения или замены внутреннего познания внешне обработанными, обширно обеспеченными ресурсами, основанными на ИИ, выводами.
По их мнению, когнитивная капитуляция не обязательно является чем-то плохим. Она «иллюстрирует ценность и интеграцию Системы 3, но также подчеркивает уязвимость использования Системы 3».
Это не первый случай, когда существует фраза «когнитивная капитуляция». Теолог Питер Бергер использовал ее в религиозном контексте в 1990-х годах, но она означала нечто большее, похожее на отказ от веры в Бога для снятия когнитивного диссонанса. И если вы такой же, как я, вы, вероятно, заметили, что когнитивная капитуляция с помощью ИИ выглядит как более старые формы умственной лени.
Например, в классическом ситкоме «Большой ремонт» Тим «Человек-инструмент» Тейлор каждую неделю обращался за советом к своему соседу Уилсону, когда какая-то ситуация в его жизни не могла быть разрешена с помощью «большей мощности». Мудрый Уилсон изрекал какую-нибудь пыльную старую мудрость от древних, и Тим всегда полностью ее принимал.
Но можно утверждать, что Тим просто использовал Уилсона как еще один «инструмент» для экономии времени (если хотите), и что он совершал свой собственный акт когнитивной капитуляции без ИИ. Совет Уилсона мог быть здравым, но когда Тим пытался его повторить, он искажал его так ужасно, что это часто ставило под сомнение, проводил ли он вообще какое-либо когнитивное отражение, или же он просто полагался на свою быструю, интуитивную систему и слепо принимал интеллект Уилсона.
@tooltimetokWilson’s advice VS. Tim’s advice 😆 #timallen#timtaylor#tooltime#homeimprovement#sitcom#90s#funny#foryou♬ Home Improvement – The New South Bay Orchestra
Возможно, скоро ИИ превратит нас в общество Тима Тейлоров, когнитивно капитулирующих перед нашими ИИ-Уилсонами. Я могу представить себе худшие судьбы для нашего вида.
Facebook*, Instagram* и WhatsApp* принадлежат компании Meta* Platforms Inc., деятельность которой признана экстремистской и запрещена на территории Российской Федерации.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Mike Pearl