Используем уже знакомый набор данных. Напомню, что у нас есть выборка из 87 сотрудников, из которых 12 признаны неэффективными, 29 - "звездами", остальные промежду этими группами. Все они при приеме на работу проходили тест CPI (Калифорнийский психологический опросник (California Psychological Inventory))
В прошлых постах я показывал, как можно отсеивать неэффективных (см. посты
, сегодня - как отбирать звезд.
Фишка в том, что у нас просто куча шкал коррелирует с звездностью / не звездностью работников. Это такие шкалы: Sy, Sp, Lp, Ie, Do, In, Em, Wb, Ac, Fx, F.m, Mp, Tm.
Корреляция есть, но важно показать не просто наличие связи, а конкретную инструкцию по тому, как отбирать звезд от не звезд.
Инструкция
Сначала применяем метод дерева решений. В нашем случае инструкция выглядит таким образом
Шаг 1. Если показывает по шкале Sp менее 56 баллов, уже не "звезда".
Шаг 2. Если показывает по шкале Sp более или равно 56 баллов, то смотрим шкалу Fx
Шаг 3. Если показывает по шкале Fx менее 50 баллов, значит "звезда"
Точность модели
Нам также необходимо оценить точность модели, т.е. сказать бизнесу вероятность ошибки нашего прогноза.
зеленые треугольнички - наши звезды, красные точки - все остальные.
По графику мы видим, что инструкция близка тому, что мы видим на картинке, во - вторых, попадание не 100 %.
Для оценки прогностичной ценности мы разбиваем выборку на тренировочную и тестовую выборки.
Тестовая выборка показывает следующие результаты
Тестовая выборка показывает следующие результаты
предсказанная звезда
предсказанная не звезда
звезда
6
3
не звезда
4
13
Из данной таблицы видно, что
- Общая точность прогноза - 73 %
- Но при этом треть звезд мы определяем как не звезд
- И 40 % из тех, кого мы при тестировании называем звездами, таковыми не являются.
Не очень весело?)
Сравнение с логистической регрессией
Кроме метода дерева решений у нас есть метод логистической регрессии
Этот метода на тестовой выборке дает такую точность
предсказанная звезда
предсказанная не звезда
звезда
8
1
не звезда
4
13
- Общая точность - 80 %
- Одну из девяти мы отправляем по ошибке в не звезды (или около 11 %)
- И треть тех, кого мы при тестировании называем звездами, таковыми не являются.
Прогноз лучше. В логистической регрессии участвуют три шкалы
- Sp
- Fx
- Lp
Те же + лидерство.
Содержательная интерпетация
Такие показатели по шкалам Sp, Fx в тесте CPI свидетельствуют
- о превосходстве, влиятельности, ориентированности индивида на межличностное взаимодействие, общей компетентности в социальных взаимоотношениях,
- о стремлении к рациональному восприятию действительности, прозаичности, сухости; лица с таким профилем склонны принимать вещи по их номинальной стоимости, они предпочитают стабильность и предсказуемость переменам.
- свидетельствуют об уверенных, уравновешенных, отстаивающих свои убеждения и влиятельных индивидах, которые обычно получают удовольствие от тех отношений с другими, где они пользуются авторитетом.
И обратите внимание, что шкала Sp самая важная с т.з. ценности прогноза (см. Инструмент отсева неэффективных работников на этапе подбора: дерево решения).
Интересный вывод по двум постам:
Неэффективные никогда не показывают по данной шкале больше 50 баллов, а звезды никогда не показывают по этой шкале менее 50 баллов.
Тестологи, делайте выводы