От многих аналитиков можно услышать "не верю ни одной цифре, которую вижу» или «всегда нужно смотреть источники». Почему же? А вот почему!
Многие сталкивались с броскими цифрами в презентациях – «90% сотрудников увольняются из-за противоречий с руководителем» или «85% успеха в работе зависит от soft skills». Но если покопать источник – можно разочароваться в красивой цифре, в авторитете цитирующего и качестве продвигаемого продукта. Вот 2 примера.
Кейс 1. «По данным совместного исследования Гарварда, Стэнфорда и Фонда Карнеги, 85% успеха в работе зависят именно от soft skills сотрудников.» [1] Звучит сильно? Может быть.
Если пройти по ссылке на источник [2] или вбить в гугл «Harvard Stanford Carnegie 85%», можно увидеть, что эти цифры были «экстраполированы» из исследования 1918 года – ни «экстраполяция», ни год публикации исследования оптимизма не внушают.
А если мы пройдем на указанные страницы в оригинале [3], то поймем, что в исследовании 1500 инженерам задали вопрос «Каковы самые важные факторы, определяющие успех или неудачу в инженерном деле?». И личные качества (“personal qualities”) были отмечены в 7 раз чаще, чем знание инженерного дела и «техническая практика» («techniques of practice»).
Насколько это в действительности означает, что «85% успеха в работе зависят именно от soft skills сотрудников» мы деликатно умолчим.
Кейс 2. «У тех, кто преследует конкретные цели в работе, уровень вовлеченности в 4 раза выше, чем у работающих бесцельно (данные McKinsey)». [4]
Сразу настораживаемся – как это, уровень вовлеченности в 4 раза выше? Если у нас обычная шкала вовлеченности от 0 до 100 баллов (или процентов), то у первой группы не может быть вовлеченности выше 25. А у второй («преследующих конкретные цели») – так вообще легко 80 до 100 – цифры, которые вызовут большое сомнение у исследователей вовлеченности при использовании качественной шкалы.
Конечно же, у McKinsey все не совсем так.
1. В тексте McKinsey, который находится гуглением [5], фигурирует «living their purpose». А «purpose» намного ближе к «смыслу», чем к «цели». Зеленый или бирюзовый против оранжевого, как скажут любители спиральной динамики. Но это не главное.
2. В самой статье Mckinsey [5] пишут «в четыре раза чаще оказываются вовлечены в работу». Если мы вспомним, что в большинстве исследований сотрудники делятся на группы вроде «активно невовлеченные» «нейтралы», «умеренно вовлеченные» «высоко вовлеченные», то магия цифр немного исчезнет. «В 4 раза чаще оказываются вовлеченными» против «вовлеченность выше в 4 раза» - разница на тексте невелика, а в жизни – огромна.
3. Не можем не сказать, что в другой статье McKinsey на эту же тему, на которую ссылается предыдущая [6] все же фигурирует фраза «had four times higher engagement», что означает «имели уровень вовлеченности выше в 4 раза» и кажется нам абсолютно невозможным и продуктом не очень умелого копирайтинга. Да, и в McKinsey такое возможно.
Красивая аналитика рекомендует!
А. Не бояться задавать неудобные вопросы про источники цифр или находить их самостоятельно.
Б. В любой непонятной ситуации – включать скептицизм или «презумпцию bullshit’а»
В. Читать статьи в рецензируемых академических журналах. Хорошая статья на ту же тематику выглядит примерно вот так [7]. Обратите внимание на оформление ссылок на каждый тезис и описание методов и результатов исследований.
[1] https://hightech.fm/2020/08/03/big-five
[2] https://www.nationalsoftskills.org/the-soft-skills-disconnect/
[3] https://www.nationalsoftskills.org/downloads/Mann-1918-Study_of_Engineering_Educ.pdf
[4] https://pro.rbc.ru/demo/60a7235d9a79475b74985082
[7] https://www.frontiersin.org/articles/10.3389/fpsyg.2020.572343/full
Артемий Молоснов специально для ТГ-канала "Красивая аналитика"