Исследователи наняли 181 действующего рекрутера (отбирали на сайте фрилансеров, опыт работы не менее года), дали каждому по 44 резюме (точнее каждой, поскольку в основном рекрутеры были дамы). Задача простая: определить, надо ли пригашать на собеседование или нет. В помощь рекрутеру дали ИИ (GPT), причем качество ИИ было разным: высокое и низкое.
Приглашаю отслеживать нас в телеграм канале психологических исследований
Отбор производили на основе математических способностей кандидата (mathematical ability), поскольку «набирали» людей для разработки ПО (software engineering job).
Резюме давали через веб-приложение, измеряли количество кликов, сделанных каждым рекрутером в резюме, и время, затраченное на каждую страницу. В инструкциях разъяснялось, что каждая оценка должна проводиться независимо и основывается исключительно на качествах кандидата. Не было минимального или максимального количества кандидатов, которые могли быть отобраны. Рекрутеры принимали решение, приглашать или нет на собеседование.
В первых двенадцати итерациях рекрутеры научились взаимодействовать со своим ИИ. Они получили фидбек после каждого бинарного решения на собеседовании относительно того, был ли их выбор правильный. Таким образом, они могли скорректировать свои ожидания в отношении качества помощи ИИ.
Рекрутеры были случайным образом распределены по одному из четырех экспериментальных условий. В трех получили сгенерированные ИИ рекомендации о каждом соискателе. В четвертой не было поддержки ИИ.
- В первой группу ИИ был Perfect prediction – идеальный прогноз;
- Во второй - ИИ с точностью около 85% («хороший ИИ»);
- В третьей – ИИ с точностью 75 % («плохой ИИ»)
Все рекрутеры знали о назначенном им качестве ИИ, о чем сообщалось в инструкциях.
Результаты
- Рекрутеры чаще следовали советам ИИ с большей точностью (т.е. с идеальным прогнозом);
- В среднем получение помощи ИИ (независимо от его качества) улучшило производительность рекрутеров (точность прогноза);
- ИИ «Идеальный прогноз» оказал наибольшее влияние на производительность. Ну это очевидно, хотя рекрутеры не всегда следовали совету «идеального» ИИ;
- «Хороший ИИ», и «плохой ИИ» в среднем дают прирост производительности в сравнении с группой без ИИ;
- НО! Рекрутеры, получившие «плохой ИИ» работали в среднем лучше, чем рекрутеры, получившие «хороший ИИ»;
- Рекрутеры с «идеальным ИИ» потратили меньше всех времени, а больше всех времени потратили рекрутеры с «плохим ИИ», в т.ч. больше группы без ИИ
- Более опытные рекрутеры показали худшие результаты, чем менее опытные при назначении «Идеальный прогноз» или «Хороший ИИ». Напротив,подгруппа с высоким опытом работы с персоналом показала лучшие результаты, когда они работали в группе «Плохой ИИ». Опытные рекрутеры, как правило, более склонны к самостоятельному мышлению и не следовать исключительно советам ИИ.
Главная фишка в том, что рекрутеры в группе «плохой ИИ» показали более высокие результаты, чем в группе «Хороший ИИ» - исследователь называет это эффектом засыпания на рулем, когда рекрутер доверяет ИИ.
Источник
Как вам эксперимент?
Приглашаю отслеживать нас в телеграм канале психологических исследований
