Для оценки эффективности обучения бизнесу важны цифры. Топ-менеджеры опираются на них, когда нужно выделить бюджет, а руководители L&D и HR — чтобы анализировать его результаты и доказывать эффективность.
Эффективность оценивают количественными и качественными методами. В количественных методах собирают числовые данные и выводят на их основе статистику. В качественных анализируют разную информацию: визуальную, текстовую, числовую, а затем выводят описание явления и гипотезы.
Ценнее всего применять методы вместе, но это получается не всегда, потому что долго и отрывает сотрудников-респондентов от основной работы. Но обычно все согласны ответить на несколько открытых вопросов о курсе или образовательной программе. Эти ответы мы берем за основу контент-анализа.
Определить выборку
В обучении с этим просто — обычно и разработчиков, и руководство компании интересует мнение самих участников. То есть они и станут выборкой анализа. Но бывают другие задачи: например, оценить, как изменились процессы на макроуровне. Тогда лучше смотреть на выводы руководителей компании или заказчика проекта.
Контент-анализ подходит только для небольших выборок или большого штата аналитиков. Если три человека вручную разбирают 1000 ответов — это долго и трудозатратно. В таком случае лучше проанализировать отдельные случаи для интерпретации количественных данных.
Выборка зависит от задач проекта. Респондентами будут те люди, ответы которых помогут ответить на главные вопросы контент-анализа.
📎 Предположим, мы провели в одной компании бизнес-симуляцию и хотим оценить, как она повлияла на коммуникацию между линейными сотрудниками. Тогда нашей выборкой будут участники игры.
Выбрать единицы анализа
Единица анализа — это то, что мы будем изучать в ходе исследования. Это может быть слово, утверждение, предложение, целый текст.
Выбирайте единицы анализа так, чтобы их было легко обнаружить в ответах респондентов.
📎 В нашем примере единицей контент-анализа будет полный ответ участника в опроснике.
Сформировать систему категорий
Категории анализа — это исследовательские проблемы, идеи или темы. Например, упоминание каких-то слов в ответе или эмоциональная окраска. Через выбранные категории мы прогоняем единицы анализа.
Тут есть два правила:
1. Лучше добавить в каждую категорию текстовые примеры, чтобы не запутаться и легко идентифицировать новые данные. Для наглядности — чем отличаются категории «намерение изменить поведение» и «изменение поведения».
2. Для каждой категории нужна шкала. Первый вариант шкалы — номинальная, когда единица анализа либо принадлежит, либо не принадлежит категории. Второй вариант — использовать в шкале уровни. Тогда у каждой единицы будет разная степень выраженности. Например: в категории «соответствие ценностям» ответ можно оценивать как «да» и «нет» или по 10-балльной шкале.
📎 Например, в бизнес-симуляцию мы закладываем идею, что важна не только прибыль компании, но и репутация. Поэтому категорией будет соответствие этим ценностям. Если участник делает вывод, что хочет заработать деньги любой ценой, это не соответствует заложенным ценностям.
Оценить достоверность кодирования
Не всегда с первого раза получается верно интерпретировать единицы анализа. Причины бывают разными: у экспертов отличается видение категорий или критерии прописаны неоднозначно. Для этого проводится оценка достоверности кодирования, в результате которой дизайн исследования корректируют или даже полностью меняют.
В первой оценке должно быть несколько экспертов, которые проверят расхождения в результатах кодирования, обсудят их и выработают чёткие критерии для каждой категории.
📎 Например, одна из категорий анализа — образовательный результат. В ней есть следующие варианты: знания, эмоциональный результат, изменение или усиление связей с другими людьми, изменение отношения, намерение что-то изучить, намерение изменить поведение, изменение поведения, нет результата обучения. После бизнес-симуляции участник пишет: «Начну активнее погружать команду в дела смежных отделов, которые могут влиять на наш». Если эксперты присваивают этому ответу разные варианты из шкалы оценивания, стоит прояснить или изменить их.
Проанализировать результаты
Самый простой способ — оценить, как часто встречается каждая категория. Как вариант — добавить в kpi, какого уровня вы хотите достигнуть по целевым категориям, и сравнить план с фактом.
Результаты контент-анализа дают цифры. Мы считаем частотность категорий до и после проекта, смотрим на них в разрезе команд участников. По результатам контент-анализа можно сделать выводы, достигнуты ли kpi проекта. То есть сделал ли каждый участник именно то наблюдение, ради которого организовали обучение.
Зачем проводить контент-анализ
- Понять и интерпретировать результаты обучения.
- Определить, насколько обучение достигло планируемого kpi.
- Проверить, подходит ли участникам такой формат обучения, и скорректировать его.
- Составить рекомендации для менеджмента компании по дальнейшему развитию сотрудников.
