Алгоритмы оценивания для KPI. Ищем относительно пригодные
Оценка показателей на основе суммирования оценок с учетом весовых коэффициентов или без оных
Часть 6
Начало было тут:
Косяки внедрения KPI или почему все не так просто (другой канал)
Назовем это многокритериальной оценкой
с учетом весовых коэффициентов.
Если веса будут одинаковыми для всех показателей,
то задачка сведется к простому суммированию оценок.
Или все просто складываем, но с учетом весовых коэффициентов.
Проблема только в том, как суммировать оценки в разных шкалах.
Как 100% шкалу сопоставить с 58% шкалой.
Могут быть еще и шкалы в штуках, метрах и килограммах.
Мы еще знаем, что бывают м/с, Гц, Ватты и прочие интересные штуки.
Вот это все просто складываем.
Результат – точный как в аптеке.
Надо только аккуратно все сложить. На калькуляторе.
Но не будем забегать слишком вперед.
Посмотрим какие показатели будем потом складывать.
Экспертные оценки
Сразу предложу от них и тут отказаться. Не работают.
Когда уместны экспертные оценки?
Когда оцениваемого предмета не существует, его нельзя потрогать и тем белее хоть как-то измерить его свойства.
При отсутствии предмета можно его представить в мозгу эксперта. Эксперт высосет из своего мозга экспертную оценку длины, ширины, высоты и скорости предмета.
Такая абсурдная на первый взгляд ситуация постоянно создается в конструкторских бюро. Конструкторам и оставим экспертную оценку.
Какой бы соблазн не был применить это в оценке конторы, делать этого не стоит. Нарушается принцип прозрачности процедуры оценивания. Экспертные оценки – штука субъективная, мутная и не прозрачная.
А за частую еще и ошибочная.
Мораль: Экспертные оценки оставим конструкторам ракет.
Показатели плановые
Большинство встречавшихся мне в реале показателей были такого вида:
1. Результат(i)= Фактическое значение(i)/Плановое значение(i)
Или
2. Результат(i)= Фактическое значение(i)/Ожидаемое значение(i)
Выполнение плана или ожидания оценим по 100% шкале.
Шкала чаще всего 0-100%, потому что так привычнее.
Может быть и другая шкала – от 0 до 1, или что-то еще.
Пример: Выполнение плана мероприятий:
Фактическое количество мероприятий (i)/Запланированное количество мероприятий (i) *100 =>100%
Пример: Средний бал ЕГЭ:
Фактический средний бал ЕГЭ /Желаемый Средний бал ЕГЭ(81%)*100 =>100%
Пример: Количество публикаций в расчете на 100 НПР:
Количество публикаций/НПР (в ставках)*100/ Ожидаемое количество публикаций*100 =>100%
Запись формулы для этих показателей может быть немного другой надо только задействовать уровни достаточности.
Показатели плановые
с ограничением уровня достаточности
Оставим показатель в его родной шкале. Желаемый уровень объявим уровнем достаточности достижения результата для показателя.
Пример: Средний бал ЕГЭ
Фактический средний бал ЕГЭ
Уровень достаточности = Желаемый Средний бал ЕГЭ =81%
При формировании «Итого» фактическое значение показателя сопоставим с уровнем достаточности. Результат переведем в 100% шкалу. Формулу получим ту же самую почти.
Пример: Средний бал ЕГЭ
Фактический средний бал ЕГЭ /(Уровень достаточности = Желаемый Средний бал ЕГЭ =81%)*100 =>100%
Пример: Выполнение плана мероприятий
Фактическое количество мероприятий (i)/Запланированное количество мероприятий (i) *100/Уровень достаточности*100 =>100%
Но тут мы можем не требовать 100% выполнения показателя,
а ограничиться меньшей величиной или наоборот большей,
если план надо перевыполнить на фиксированную величину.
Побочно мы получили 3 дополнительных эффекта
1. Получили механизм определения группы лидеров.
2. Вынесли обработку показателя в сторону от показателя.
3. Сделали механизм перевода показателя живущего в своей шкале к шкале пригодной для последующего сопоставления показателей.
Уровни неприемлемости результата
Можно выбрать уровень неприемлемости результата,
по аналогии с уровнем достаточности.
Уровень неприемлемости результата будет нести в себе отрицательный смысл.
Если показатель выполнен на 10-15% от желаемого – это приемлемо?
Если приемлемо, то ничего не делаем. Если не приемлемо, то строим механизм обнуления результата.
Это будет формировать группу аутсайдеров по этому показателю.
Штука скажем совсем не однозначная и точно негативная.
Пользоваться уровнем неприемлемости результата надо с большой оглядкой. Если нет уверенности – лучше вообще не использовать.
Пример: Средний бал ЕГЭ
Уровень неприемлемости результата = менее 70
Зачем нам нужна группа лидеров
Чтобы не плодить Стахановых.
Всегда есть соблазн получить крутую оценку сделав мероприятий больше всех и получить самый большой бонус. Особенно соблазн велик при использовании бальной и рейтинговой схем подсчета «Итого».
Но всегда ли надо много мероприятий?
Сколько мероприятий надо выполнить конторе, чтобы всем жилось комфортно? А если выполнено будет больше в 2 раза?
Это увеличит прибыль?
А оно нужно?
Зачем нужен перевод показателей к другой шкале
Чтобы сопоставить все разношерстные показатели из разных метрик
и получить одно «Итого».
Можно конечно многомудро сопоставлять многомерные таблицы ориентируясь на квартили, процентили и прочую бодягу из книжек доцентов всех мастей, но там многа букаф и вааще лень было,
и нафига вообще это делать?
Проще все промежуточные результаты привести к общей шкале
и тупо сложить с учетом весовых коэффициентов,
как собственно и рекомендовано было в прошлом столетии отцами основателями теории принятия решений и их последователями.
Переводить в другую шкалу мы уже можем.
Выберем в качестве общей шкалы привычную всем 100% шкалу.
Она достаточно наглядная, а главное привычная для глаз.
Если есть острое желание экзотику изобрести, можете выбрать другую шкалу, которая сердцу милее.
Весовые коэффициенты
Вещь как бы полезная.
Позволяет задать соотношение между показателями.
Плетете вы допустим корзины и улыбаетесь – вам 100% от исходной премии полагается.
Но если народу больше?
Вот Вася, плетет корзины и бурчит. Наплел Вася корзин не меньше вашего. Зато Лизочка все время улыбается и вообще красивая, тока корзины плести не умеет, и никто ее корзины не купит, потому что они кривые.
Им что платить? По 50% каждому?
Или есть смысл определить, что важнее? Видимо есть.
За важные показатели задаем вес показателя больше, за не важные меньше. Сумма весовых коэффициентов будет 100%.
Потому что так нагляднее.
Хотя можно выбрать другую шкалу для загадочности.
За плетение корзин назначим вес =95% от 100%.
За улыбание назначим вес =5% от 100%.
Корзин Вы с Васей наплели достаточное количество. Лизочка - ноль.
Наулыбались вы с Лизочкой, тоже достаточно.
В итоге: Вам 100% примии, Васе 95% от возможного уровня, а Лизочке 5%, за то, что вообще красивая. Секретарше босса – подарок: Васины 5%+Лизочкины 95%. На шубку. Или вы думали, что босс их на спасение амурских тигров переведет?
Дополнительные повышающие показатели,
на которые нет и не может быть плана
Некий аналог экспертных оценок или простых бонусов.
Не все можно рассчитать сходу и формализовать.
Для части показателей может не оказаться разумной подходящей формулы, потому что оценить надо очень редкое явление.
План не годится.
Можно назначить разумное количество процентов на однотипные деяния и вписать в общую формулу расчета.
Но только при условии эпизодичности таких деяний.
Дополнительные понижающие показатели
за косяки в работе
Все то же самое что и для дополнительных повышающих показателей,
но знак у него будет – минус.
Антибонус – за особо выдающиеся косяки,
которыми уголовный кодекс пока не заинтересовался.
Старайтесь не злоупотреблять,
а то отправлю читать статью про мотивацию мышей.
Повышающие и понижающие коэффициенты
Я их если честно не люблю.
В отличии от повышающих и понижающих показателей,
коэффициент — это множитель.
Насчитаете вы повышающий коэффициент 300. Как премию будете выплачивать, если у вас размер бонусов превысит доход?
Как вывести «Итого»
Формула для плановых показателей в одной шкале.
Без учета уровней достаточности и не достаточности.
Без дополнительных повышающих и понижающих показателей:
где:
Факт(i) – Фактическое значение i-го показателя;
План(i) – Плановое значение i-го показателя;
Вес(i) – Вес i-го показателя.
Формула для показателей в одной шкале.
Без учета уровней достаточности и не достаточности,
с повышающими и понижающими показателями:
где:
Факт(i) – Фактическое значение i-го показателя;
План(i) – Плановое значение i-го показателя;
Вес(i) – Вес i-го показателя;
Кповышающий, Кпонижающий – повышающий и понижающий показатели.
Формула для показателей в разных шкалах.
с учетом уровней достаточности.
с дополнительными повышающими и понижающими показателями:
где:
Факт(i) – Фактическое значение i-го показателя;
План(i) – Плановое значение i-го показателя;
Вес(i) – Вес i-го показателя;
К=Кповышающий-Кпонижающий – Сумма повышающих и понижающих показателей
Ф.Шкалы100 – Функция приведения к 100% шкале;
Ф.УровняДостаточности– Функция приведения к шкале от уровня достаточности i-го показателя.
Забыли уровень неприемлемого результата.
Сделаем еще одну функцию Ф.УровняНеприемлемости ().
И еще немного усложним формулу, бабай бы ее не рисовал.
Что делать с неоднородными показателями?
Варианта обычно 2
1. Или засчитывать выполнение показателя подразделению,
даже если по факту его не было.
2. Или не включать показатель в список оцениваемых
для конкретного подразделения.
И то и другое – плохо.
Лучше их избегать, если есть возможность.
Как это скажется на «Итоге»
1. Если засчитывать выполнение показателя подразделению как будто он выполнен, то завышается итоговый результат и дискриминируются подразделения у которых этот показатель есть и может быть не выполнен.
2 Если не включать показатель в список оцениваемых для конкретного подразделения, то дискриминируется уже это подразделение.
Арифметику не обманешь. Сморим простой пример:
А. ½+2/2+0 = 3/2 = 1,5 => 75% – отключили 1 показатель
Б. ½+2/2+2/2 = 5/2 = 2,5 => 83% – все показатели включены
Все просто и наглядно. Пояснять надо?
Ах, в книжках этого доценты опять не написали?
Мораль: неоднородные показатели однозначное зло.
Мораль: оценивание не однородных объектов – однозначное зло
Не плановые показатели
Они особняком.
Плана на них или вовсе нет, или его невозможно создать на конкретный отчетный период, а оценивать их желательно.
На практике, все попытки оценивать такие показатели,
как плановые закончились ничем. Не работает.
Единственное, что пришло в голову – оценить их оптом.
Решили:
1. Задать для каждого такого события или свойства некий «ценник»
в условных единицах цены.
2. Оценить суммарно всю проделанную подразделением работу
с учетом объявленной ценности каждого события:
3. Выбрать уровень приемлемого результата для всей суммы событий.
4. Сопоставить полученную Общую Стоимость Работы
с выбранным уровнем приемлемого результата.
5. Дальше можно с этой конструкцией работать,
как с обычным показателем, у которого есть:
- фактическое значение,
- ожидаемое значение,
- шкала измерений в условных единицах ценности,
- уровень приемлемого результата.
Небольшая проблема может быть с выбором цены всех событий и уровня приемлемого результата. Это не проблема наверное.
Выбор цены всех событий можно поручить эксперту,
или сделать как функцию от полезности события или потраченных на его получение трудозатрат, или как их комбинацию.
Выбор уровня приемлемого результата также можно или задать экспертной оценкой или как функцию от ожидаемого количества событий на длительный период и цены событий.
Надо только масштабировать полученный уровень на выбранный отчетный период. В качестве длительного периода можно выбрать 1 год или 5 лет, а плановый период – квартал.
Уровень неприемлемости результата для конкурсных показателей – бессмысленное явление на мой взгляд. Предлагаю про него забыть.
Статьи про другие грабли:
1. Косяки внедрения KPI или почему все не так просто (на другом канале)
2. Почему умрет контора если внедрить KPI
3. Оценивать деятельность индивидуумов не получилось
4. Какие были проблемы с оцениванием подразделений
5. Алгоритмы оценивания для KPI.
(Основанные на ранжировании. Основанные на присвоении баллов)
6. Эта статья. Алгоритмы оценивания для KPI. (Оценка показателей на основе суммирования оценок с учетом весовых коэффициентов или без оных)
7. Многокритериальный выбор вариантов при принятии решения – ближайший аналог KPI
8. KPI Библиотекаря или злобное отступление
Сильно извиняюсь за отсутствие замудренной терминологии.
Хочется, чтобы текст могли осилить читатели без спецподготовки
Ставьте лайк, что бы видеть больше таких сообщений.
Буду рада общению на эту и другие темы