Алгоритмы оценивания для KPI
ищем относительно пригодные
Начало было тут:
Косяки внедрения KPI или почему все не так просто (другой канал)
За все время доводилось видеть в живую алгоритмы оценивания:
1. Основанные на ранжировании. Для меня это абсолютный ужас.
2. Основанные на присвоении баллов с последующим суммированием – тоже много недостатков даже без телескопа. Основной недостаток – некоторая топорность при подведении итога.
Пригодны только для грубой оценки.
3. Основанные на суммировании оценок с учетом весовых коэффициентов или без весов. Эти по интереснее будут.
/Описание будет в следующей статье/
Ранжирование
Это будет повествование об абсурде.
С самими показателями все как обычно – измерили, сопоставили с плановой или желаемой величиной, зафиксировали результат.
Показатели пока не смотрим.
Абсурд начинается при расчете «Итого»
На первом этапе для каждого показателя делаем ранжирование подразделений по результату.
Фиксируем ранги подразделений – это числовые значения от 1 до N.
А теперь смертельный номер!
По версии разработчика метода полученные ранги складываем и снова ранжируем подразделения по полученной сумме.
Не дошло?
Проблема та же, что и для многих методов из книжки:
вместо результата на практике показывало направление ветра.
Но внедряющих такие мелочи не волновали.
Методика была реализована в далеком 2007 году в разработке конторки из г. Вологда для бюджетных контор страны.
Внедрялась как минимум в 174 однотипных конторах и несметной куче их филиалов.
Думаю, афтары умерли от икоты.
Мораль: Кто Ранжирование внедрял, тот в цирке не смеется.
Как вариант можно еще с процентилями позаморачиваться.
Оценка показателей в баллах, с последующим суммированием оценок
Плохое в этом методе – явно грубая оценка с каскадным накоплением ошибок на каждом этапе. Как будто расчеты выполняются вручную на калькуляторе. Неужели нет ПК? ПК есть.
Весь метод явно заточен на калькуляцию на калькуляторе.
Зачем вообще тут эти диапазоны?
Для каждого свойства выбирается исходная шкала значений. Исходные свойства измеряются, в штуках, метрах, килограммах или в другой приемлемой для них шкале.
Для каждого показателя выбирается шкала оценочных значений результата, чаще всего стандартный диапазон от 0 до 100%,
реже диапазоны от 0 до 1, еще реже выбираются другие шкалы.
Большинство встречавшихся в реале показателей были такого вида:
Результат(i)= Фактическое значение(i)/Плановое значение(i)
Выполнение плана оценим по 100% шкале.
Шкала чаще всего 0-100%.
Минобрнауки оценивает вузы в баллах.
В качестве примера посмотрим, как это сделано для вузов.
Находим на сайте Минобрнауки показатели, которые используют для оценки вузов:
- Количество мероприятий – в штуках;
- Количество публикаций в расчете на 100 НПР – в штуках;
- Удельный вес иностранных студентов – в процентах;
- Прирост доходов – в процентах;
- Средний бал ЕГЭ – в баллах;
Сами показатели уже прошли предварительную обработку.
Все исходные значения были вполне измеряемыми.
Для каждого показателя выбирается значение, которое можно трактовать как желаемый уровень достижения цели. Желаемый уровень достижения цели соответствует максимальной оценке.
На сайте Минобрнауки это названо «Оценочные значения выполнения показателей эффективности» и «Максимальным количеством баллов»
Шкала разбивается на диапазоны.
Есть правила выбора диапазонов, но они сложные и их все игнорируют.
По факту диапазоны задаются на глазок.
Человека, задающего диапазоны принято именовать экспертом.
Присваиваемый по такому алгоритму бал несет в себе две функции:
1. Собственно результат в выбранной шкале,
2. Весовой коэффициент.
На сайте Минобрнауки диапазоны названы «Оценочные значения выполнения показателей эффективности».
Диапазоны для среднего балла ЕГЭ возможно такие:
Мораль: Ооооочень обидно набрать 80,9, еще обиднее набрать 69,9. Чем 69,9 хуже 70,01? А 81,01 намного лучше 80,9?
Это действительно так критично?
Интересно, а если набрать 80,44 – это 8 баллов или 11?
Плохо: накапливаются ошибки если значение показателя попадает ближе к границе диапазона. Происходит или завышение, или занижение результата. При самом оптимальном раскладе, кто был почти никем – может казаться хорошим. При самом плохом раскладе, вуз середнячек может оказаться в группе аутсайдеров.
Но похоже Минобрнауки такое видение мира устраивает.
Вузов еще много и точность оценки тут не важна.
Метод довольно сносно в первом приближении покажет явных лидеров и аутсайдеров. Возможно именно это и требуется.
В середине скорее всего будут существенные искажения.
Вывод: Гильотина может работать.
Можно ли алгоритм подобный гильотине внедрять внутри конторы?
– Если есть цель сократить количество подразделений или филиалов, то вперед.
– Если цель иная, то не стоит такое применять.
Статьи про другие грабли:
1. Косяки внедрения KPI или почему все не так просто (на другом канале)
2. Почему умрет контора если внедрить KPI
3. Оценивать деятельность индивидуумов не получилось
4. Какие были проблемы с оцениванием подразделений
5. Эта статья
6. Оценка показателей на основе суммирования оценок с учетом весовых коэффициентов или без оных (пока пишу)
Сильно извиняюсь за отсутствие замудренной терминологии.
Хочется, чтобы текст могли осилить читатели без спецподготовки
Ставьте лайк, что бы видеть больше таких сообщений
Буду рада общению на эту и другие темы