Для анализа набора данных были использованы классические статистические инструменты. Для всего набора данных или идентифицированных кластеров агентов использовался тест фракции для сравнения рассматриваемых пропорций. Когда результаты для кластеров или исследований были проанализированы, тест Манна – Уитни был применен для измерения значимости различий (распределений) средних значений переменных. Для анализа в рамках исследования (при сравнении значений принципала и агента) использовался критерий Вилкоксона для зависимых образцов. Порог значимости = 0,05, следовательно, использовался для всех сравнений. Для измерения различий в значениях OA и CI для всего набора данных в каждом исследовании использовалось понятие стохастического доминирования (стохастическое доминирование первого порядка - FSD) и почти стохастического доминирования .
Результаты
Чтобы исключить потенциальное влияние различий в словесном описании предпочтений на точность систем оценки и результаты агентов, мы проанализировали данные только для агентов Фадо, для которых единственной разницей в передаче предпочтений между исследованиями была форма используемой техники визуализации ( бары против кругов). Анализируя набор данных Inspire для обоих исследований, мы сначала проверили порядковую точность систем оценки агентов, чтобы ответить на вопросы Q1 и Q2. Определение точности системы оценок на порядковом уровне не требует от агентов каких-либо специальных навыков принятия решений или высоких когнитивных способностей. Не требуется никакого сложного смысла чисел, чтобы распознать один круг (столбец) больше другого и назначить большее число для элемента, который он представляет. Следовательно, мы ожидали, что большинство агентов создадут системы оценки с высоким порядковым индексом точности. Удивительно, но процент людей, имеющих полностью точные системы начисления очков (O AОA = 1) было очень низким независимо от того, какой метод визуализации использовался, и было равно 21,8% и 22,4% в исследовании 1 и 2 соответственно. В обоих исследованиях было в среднем 7,1% участников переговоров с абсолютно неточными системами оценки ( = 0).
Средние показатели для 1-го и 2-го исследований равны 0,638 и 0,652 соответственно, и эта разница незначительна (в тесте Манна-Уитни = 0,578). Анализ стохастического доминирования кумулятивных функций распределения для исследований 1 и 2 не позволяет рассмотреть одно распределение, превосходящее другое на уровне FSD, поскольку кружки обеспечивают меньшую вероятность для ∈ <0; 0,2). Тем не менее, это единственный диапазон, для которого круги лучше, и если использовать понятие почти стохастического доминирования (AFSD), мы обнаружим, что столбцы доминируют над кругами в отношении качества порядкового соответствия. Это означает, что масштаб нарушения FSD между установленный для агентов в исследованиях 1 и 2, равен 16%. Другими словами, 84% площади между этими двумя кумулятивными распределениями (которые указывают на шкалу превосходства одной переменной печи другой) в пользу баров. Поскольку ≪ 0.5, мы можем заключить, что результаты, полученные агентами в исследовании 2, почти преобладают над результатами исследования 1. Более того, если мы удалили совершенно неточные агенты с = 0 (как посторонние, намеренно неверно истолковав предпочтения принципала) из нашего анализа, совокупное распределение значения для баров превзошли бы значения для кругов в соответствии с чистым правилом FSD, и мы могли бы заключить, что бары помогают агентам лучше отображать предпочтения принципала на порядковом уровне.
Это не меняет того факта, что доля обычно неточных агентов действительно высока. В обоих исследованиях в среднем насчитывается 78% участников переговоров, которые определяют более или менее неточные системы оценки ( ≠ 1). Можно утверждать, что причина зависит от конкретного случая, то есть есть некоторые нюансы структур предпочтений, которые слишком сложны для того, чтобы средний агент мог правильно сопоставить кардинальную систему. Некоторые выводы о потенциальных причинах этой неточности могут быть сделаны после того, как отдельные рейтинги для каждого элемента шаблона переговоров были проанализированы. Проценты обычно точного ранжирования для всех элементов переговорной задачи P, построенные агентами в обоих исследованиях.
Продолжение следует...