Можно долго концептуально спорить о способности нейросетей к творчеству, созданию нового, об их креативности или отсутствии таковой. А можно просто применить те же тесты, которые используются для оценки креативности людей — тесты нынче есть для всего:)

Исследователи из университета Монтаны так и поступили, использовав Torrance Tests of Creative Thinking, a well-known tool used for decades to assess human creativity. Исследователи отправили в Scholastic Testing Service результаты, сгенерированный GPT-4 вперемешку с результатами 24 студентов (не информируя об участии GPT) и сравнили полученные баллы с результатами массового тестирования 2700 студентов в 2016.

Результат ожидаем: по разным критериям ChatGPT попал либо в 1% лучших (изобилие идей, оригинальность), либо в 3% (разнообразие идей. Среди студентов тоже нашлись персонажи со сравнимыми успехами:)

Показательно, что авторы попросили ChatGPT проинтерпретировать результат и получили разумное предупреждение

“ChatGPT told us we may not fully understand human creativity, which I believe is correct. It also suggested we may need more sophisticated assessment tools that can differentiate between human and AI-generated ideas.”

Все в точности как с самим интеллектом — не умея толком определять и измерять свой, мы почему-то рвемся сравниваться с машинным:)

1 минута

7 июля 2023

190 читали