В одном из предыдущих постов я рассказывал о том, как результаты по одному и тому же вопросу анкеты могут быть разными в зависимости от социальной желательности контекста, в котором он задается. Давайте разберемся, как это происходит, и что с этим можно сделать.
Что такое социально желательные ответы?
В корпоративных опросах это такие ответы, которые сотрудники дают, ориентируясь не на свое искреннее мнение, а стараясь угодить работодателю. Например, люди могут отвечать положительно на вопросы о руководителях из-за нежелания их обидеть или из-за страха быть наказанными.
Неужели все сотрудники склонны приукрашивать свои ответы?
Этот вопрос беспокоит и психологов, и социологов. В своей практике я вижу, что степень социальной желательности получаемых ответов очень сильно зависит от корпоративной культуры.
В организациях, где люди привыкли высказываться открыто, такие ответы я с коллегами встречаю реже, чем в «закрытых» организациях, где принято держать свое мнение при себе. Особенно ярко я вижу это в результатах по небольшим подразделениям.
Как же выявить такие ответы в опросах вовлеченности или других корпоративных исследованиях?
Существует 2 вида инструментов:
- те, которые можно использовать самостоятельно, так как они не требуют специальных инструментов и ПО;
- те, которые доступны при проведении опроса с провайдером, например, с AXES.
Начнем с инструментов, которые доступны всем
1. Оцените степень разброса ответов в анкете.
Предположим, вы задавали сотрудникам 10 вопросов на разные темы. Есть ли разброс ответов по этим вопросам? Большой ли он?
Если все 10 вопросов сотрудники оценили примерно одинаково, высоко или низко, то это может говорить о недостоверности ответов.
Деятельность людей полимотивирована, т. е. побуждается не одним мотивом, а несколькими. Если человек всем одинаково доволен или недоволен, то вы можете задаться вопросом, а не лукавит ли он.
2. Если в анкете есть открытые вопросы, оцените, насколько содержательно и подробно отвечают на них сотрудники.
Когда люди боятся отвечать честно, они, как правило, пишут односложные комментарии или ставят прочерки. Если по количественным данным получается так, что сотрудники всем довольны, и в комментариях они подробно описывают причины своей радости, то ответы, скорее всего, искренни.
3. Сравните результаты опроса с реальным положением дел.
Например, вы понимаете, что в конкретном подразделении низкий уровень доходов или проблемный руководитель, а в опросе все наоборот — люди довольны доходом и руководителем. Это еще один повод задуматься о честности их ответов.
Конечно, все эти критерии работают в связке. Я не рекомендую однозначно считать ответы недостоверными на основании только одного из них.
Набор критериев, по которым достоверность ответов поможет оценить провайдер
1. Автоматизированное выявление одинаковых анкет.
Например, когда заполненные анкеты полностью совпадают, либо в них задублированы комментарии. Однажды в результатах исследования я выявил 500 анкет, в которых различались количественные результаты, но были одинаковые развернутые ответы.
Последующее расследование показало, что это был целенаправленный вброс для повышения статистики участия.
2. Выявление анкет с нулевой дисперсией, то есть с отсутствием разброса ответов как таковых. Например, только ответы «Полностью согласен» на все вопросы.
3. Выявление анкет, заполненных «волнами».
Особенно хитрые респонденты понимают, что полностью одинаковые ответы легко выявить и они бросаются в глаза, и начинают отвечать «волнами», то есть сначала дают максимально положительный ответ, на следующий вопрос — чуть ниже и т. д.
4. Ну и самый интересный инструмент — использование шкал социальной желательности.
В анкету включаются вопросы, сформулированные таким образом, что положительные ответы на них с высокой долей вероятности говорят о склонности респондента приукрашивать ситуацию.
Например, один из вопросов, который используем мы, звучит так: «В нашей компании работа построена идеально, и я никогда не сталкиваюсь с трудностями».
Очевидно, что идеально выстроенных процессов не бывает, а значит, сотрудник, который полностью согласен с этим тезисом, скорее всего, лукавит.
При этом, кто-то все-таки может искренне так считать и не замечать трудностей. Именно поэтому мы ориентируемся не на абсолютные значения по этим вопросам, а на сравнение с рыночными бенчмарками.
И вот здесь уже становится интересно: если люди соглашаются с этим утверждением значительно чаще, чем в среднем по рынку, стоит делать поправку результатов на уровень социальной желательности. И наоборот, люди могут отвечать более искренне, по сравнению с бенчмарком, например, в силу особенностей корпоративной культуры. И тогда поправку нужно делать в обратную сторону.