Найти в Дзене
Изян

Не верьте бенчмаркам

Не верьте бенчмаркам.
Пост – комментарий.

ПРИГЛАШАЮ ОТСЛЕЖИВАТЬ В ТЕЛЕГРАМ

Задача бенчмарков - сравнивать показатели вашей компании с рынком. Но чаще бенчмарки не выполняют своего предназначения.


На диаграмме – результат очередного западного исследования, сколько работников приходится на одного HR.

  • Первый квартиль – 68, 5 работника, т.е. в четверти компаний на 1 HR приходится меньше 68, 5 работников
  • Медиана – 105, 4 работника
  • Третий квартиль – 190, 1 работников.


Все замечательно. Кроме того, что я совсем недавно приводил данные бенчмарка от Гартнер

HR-бюджет и показатели эффективности - Бенчмарк от Гартнер – согласно этим данным на одного HR приходится 58 работников.

-2


Нифига себе, да? Разница чуть ли не в два раза. Кто прав? Да обе конторы. Проблема в выборке. Гартнер работал с более крупными компаниями в своем исследовании. Есть сильная корреляция между размером компании и числом работников на HR. См. результаты нашего исследования

Поэтому если вы опросите 100 компаний с размером до 1 000 работников, вы получите один результат, если крупные федеральные компании - другой. Идеальный ответ на этот вопрос: разделить общее число работников (по России) на общее число HR, но это недостижимо по техническим причинам:) Второй вариант: выборка исследования должна соответствовать выборке компаний по стране, но это тоже чаще не реализуемо. И еще можно перевзвешивать выборку, но, насколько я знаю, такое компании провайдеры не делают, хотя бы потому, что структуры распределения компаний в целом по стране не знают.

И таких "подводных камней" в бенчмарках много. Можно дробить выборку бенчмарка по условиям, но тогда вам не с чем будет сравниваться - в выборке под вас останется 2-3 компании.

Идеальное решение - индивидуальный прогноз сравнения с рынком на основе машинного обучения, но провайдеры таких бенчмарков так и не пошли по этому пути.

Поэтому единственный защитный механизм на сегодня - узнавать информацию о компаниях, участвующих в бенчмарке: размер компании, отрасль, регион и т.п.

ПРИГЛАШАЮ ОТСЛЕЖИВАТЬ В ТЕЛЕГРАМ