Сравнение креативности репрезентативной человеческой выборки с GPT-4 показывает, что «творческие идеи, созданные чат-ботами на основе ИИ, оцениваются как более креативные, чем те, которые созданы людьми... Дополнение людей ИИ улучшает креативность человека, хотя и не так сильно, как идеи, созданные одним лишь ChatGPT».
По оси баллы по креативности, чем правее, тем креативней, розовым цветом - креативность GPT-4, голубым - человек + ИИ, т.е. лучше, чем просто человек. Зеленым - просто человек.
Bard - это тоже LLM, но явно хуже людей.
Суть эксперимента
Мы провели масштабный эксперимент с более чем 4000 участников. Сначала мы попросили более 1000 людей и двух генеративных чат-ботов ИИ, ChatGPT и Bard, сгенерировать креативные ответы на открытые творческие задания. Мы определяем креативность как «способность придумывать новые идеи, которые удивительны, но понятны, а также ценны в некотором роде» (Boden, 2001). Мы реализовали форму «открытого» или «дивергентного» творчества, т. е. без предопределенного решения, попросив участников «описать город, город или общество в будущем» или «если бы у вас был талант изобретать вещи, просто думая о них, что бы вы создали?» (Guilford, 1975; Charness and Grieco, 2019). И люди, и чат-боты ИИ получали подсказки одинаково и предоставляли короткий текст, описывающий ответ. Участники-люди получали стандартную сумму за участие в исследовании и могли получить существенную премию, если их идея оказывалась в числе 10% самых креативных ответов по мнению других участников. В базовом варианте участники не получали никакой дополнительной информации; в вариантах HumanPlusAI участники имели доступ к чат-боту на основе ИИ (Bard или ChatGPT) и были проинструктированы использовать их при генерации ответов; а в варианте HumanAgainsAI участникам сообщали, что они соревнуются не только с людьми, но и с чат-ботами на основе ИИ. Впоследствии более 3000 человек, разделенных на три группы, оценивали креативность этих текстов, чтобы определить, считают ли они идеи новыми, удивительными и полезными.
ПРИГЛАШАЮ ОТСЛЕЖИВАТЬ НАС В ТЕЛЕГРАМ КАНАЛАХ ПСИХОЛОГИИ И HR
См. также
Исследование: использование ИИ на работе делает нас более одинокими и менее здоровыми