Рандомизированное исследование зафиксировало ослабление иммунитета критического мышления в результате использования ChatGPT
Исследование «ИИ неэффективен и потенциально вреден для проверки фактов», проведенное «Обсерваторией социальных медиа» под руководством Заслуженного профессора Филиппо Менцер (чинов и званий не счесть) подтвердило мой прогноз, опубликованный в начале года в посте «Цифрообезьянья лапа. Мир обретает черты сверхъестественного хоррора».
Исследователи впервые смогли проверить в ходе рандомизированного эксперимента, как использование ChatGPT для факт-чекинга влияет на работу наших «когнитивных гаджетов» критического мышления.
Площадкой эксперимента стала соцсеть. Здесь участники репрезентативной выборки из 1.5К+ человек:
- использовали или НЕ использовали ChatGPT для факт-чекинга заголовков политических новостей;
- в зависимости от того, что им говорил их «когнитивный гаджет» критического мышления,
— верили или не верили заголовкам;
— делились или не делились новостью.
А исследователи проверяли:
- насколько хорош ИИ в факт-чекинге при анализе ложных и правдивых новостей;
- как влияют результаты ИИ факт-чекинга на то:
— поверил человека в новость или нет;
— стал ли он ею делиться или нет.
Основных результатов три.
- В целом, ChatGPT уже неплохо справляется с факт-чекингом:
— с проверкой истинности ложных заголовков новостей все отлично: 90% выявил и лишь в 10% не уверен.
— с правдивыми новостями похуже: лишь 15% точно выявлены, 20% ложных срабатываний (якобы это фейки), 65% разной степени неуверенности (то ли правда, то ли ложь). - Но ценность п. 1 сводится на нет тем, что использование людьми ИИ факт-чекинга существенно не влияет
— ни на способность людей распознавать правдивость заголовков (на приложенном рис. слева),
— ни на их желание поделиться правдивыми новостями (на рис. справа). - Более того, все еще хуже — проведение ИИ факт-чекинга наносит несомненный вред, беря на себя часть работ (а то и всю работу), ранее выполняемых «гаджетами критического мышления» людей:
— ИИ уменьшает веру людей правдивым заголовкам, когда ошибочно помечает их как ложь;
— ИИ увеличивает веру в ложные заголовки, когда отмечает их, возможно, правдивыми или нет.
В резюме исследования авторы указывают на важный источник потенциального вреда, исходящего от приложений ИИ, предлагающих людям факт-чекинг.
От себя добавлю, что это слишком мягкий вывод.
Ведь неявный ИИ факт-чекинг всего через полгода будет окружать нас повсюду: от поиска и справочных систем до офисных приложений, от рекомендательных сервисов всех типов до персональных ассистентов …
И если результаты исследования подтвердятся в ходе пир-ревю и повторных экспериментов, это будет означать, что
деградация «когнитивных гаджетов» людей, в результате передаче ИИ когнитивных функций критического мышления, не требует смены поколений, а начинается немедленно при использовании ИИ (примерно так же, как деградировал «гаджет устного счета» с распространением всевозможных калькуляторов и один из «гаджетов памяти» с появлением у каждого своего сотового аппарата).
#AICG #РискиИИ
________________________________
Ваши шансы увидеть мои новые посты быстро уменьшатся до нуля, если вы не лайкаете, не комментируете и не делитесь в соцсетях
