Есть некоторые элементы шаблона переговоров, которые, независимо от схемы передачи предпочтений, правильно ранжируются 70–80% участников эксперимента. Такая высокая порядковая точность зафиксирована для вариантов концертов, лицензионных платежей и бонусов к подписанию контракта на вечеринке Fado. Для двух других элементов, т. е. для граблей вариантов весовых опций песен, показатель точности ниже. Общей особенностью категорий с высокоточными фракциями является то, что предварительно определенные для них предпочтения монотонно увеличиваются или уменьшаются в зависимости от порядка появления элементов в описании проблемы согласования. Например, предпочтения для вариантов концертов для Fado уменьшаются при переходе с 5 на 8. Для категорий с более низкими фракциями предпочтения главного не являются монотонными, как, например, в случае вариантов для «количества песен». Здесь предпочтения увеличиваются при переходе от варианта 11 к 14, но затем уменьшаются при переходе к варианту 15. Однако большинство ошибок в правильном представлении предпочтений принципала наблюдается для рейтингов выпусков. Значительно меньшее количество агентов назначило их полностью точно (34,5% и 28% в исследовании 1 и 2 соответственно). Некоторые трудности могут быть связаны со структурой предпочтений - первые две проблемы были объявлены принципалом одинаково важными (наличие столбцов и кругов одинакового размера). Но есть также некоторые технические проблемы, связанные с процессом выявления предпочтений в обоих исследованиях, которые могут повлиять на степень неточности. В то время как в описании информации о предпочтениях вопросы были перечислены и визуализированы от наиболее важных наименее механизмов оценки работал с измененным порядком последних двух вопросов в списке.
Порядковая и кардинальная точность скоринговых систем
Несмотря на то, что в большинстве случаев системы подсчета очков оказались неточными ( ≠ 1), можно спросить, является ли эта неточность релевантной при измерении в терминах неправильно распределенных рейтинговых баллов (Q3). Такая шкала неточности может быть измерена с помощью кардинального индекса неточности, заданного формулой. Таким образом, мы определили индексы для обоих исследований, принимая во внимание, что в исследовании 1 можно измерить погрешность кардинала в соответствии с двумя альтернативными эталонными системами оценки, одна из которых использует в качестве эталона радиусы окружностей, а вторая - области кругов.
Коэффициенты корреляции Пирсона, определенные для значений и в рамках исследований, подтверждают, что между этими двумя показателями существует значительная и довольно сильная связь (эта связь обозначена как отрицательная, поскольку описывает порядковую точность и - кардинальную неточность) Сравнение между исследованиями сейчас не легкое. Кардинальная точность в исследовании 1 может быть определена в отношении двух систем отсчета, одна из которых измеряет радиусы окружностей, а вторая фокусируется на их областях. Сравнивая средние значения, мы находим, что встречается лучше, чем , но разница не значительна ( = 0,187). Когда сравнивается с результатами, измеренными для областей окружностей ( ), первое выглядит значительно лучше ( <0,001). Детальный анализ кумулятивных распределений не позволяет считать ни один из методов визуализации лучшим, чем другой, использующий понятие FSD.
Однако, если мы проанализируем кривые, мы увидим, что визуализация предпочтений на основе столбцов обеспечивает более высокую вероятность получения систем оценки лучше, чем для кругов только до ≈ 61 (по сравнению с результатами на основе радиуса). Обратите внимание, что на этот раз чем ниже тем лучше, т. е. чем выше совокупное распределение, тем лучше. Следовательно, понятие AFSD может использоваться снова, чтобы рассмотреть, каков масштаб отставания.Мы видим, неубедительно, что, когда мы предполагаем, что агенты работают с радиусами окружности, они могут рассматриваться как работающие лучше, чем те, которые работают с барами ( > 0.5, поэтому кривая для почти доминирует над но масштаб нарушения FSD равен 0,46). Однако, если агенты собирались оперировать областями, кажется, что агенты с полосами почти превосходят тех, кто работает с кружками, с кардинальной точностью (а нарушение FSD составляет всего 24%).
Продолжение следует...