Продолжаем говорить о том, как использовать модель Киркпатрика для глубокой оценки эффективности онлайн-обучения. 8 инструментов с рекомендациями по применению.
Дональд Киркпатрик выделил четыре уровня оценки эффективности и отнёс к ним реакцию, усвоение, поведение и результат. Мы проводим исследование по модели Киркпатрика, когда заказчики хотят понять, как корпоративное обучение повлияет на результаты работы.
В прошлый раз мы разобрали реакцию и усвоение, теперь перейдём к поведению и результату.
Поведенческие изменения
Самый важный показатель в оценке эффективности. Он измеряет, как люди используют новые знания на практике. Если этого не происходит — знания бесполезны, даже если человек их усвоил.
Здесь мы используем шесть инструментов.
Процент выполнения необязательных заданий. Показывает, насколько слушателю важно пройти курс полностью. Ещё по итогу исследования видно, какие задания больше вовлекают, а какие можно убрать из курса.
Например, половина слушателей курса по публичным выступлениям сделала необязательное задание про переговорные позиции. Это хороший показатель: либо тема важная и может стать обязательной, либо сработали инструменты вовлечения.
Периодичность посещения у людей, которые завершили и не завершили курс. Это показывает, есть ли разница в стиле прохождения у разных категорий слушателей. Чтобы на это влиять, мы настраиваем уведомления для тех, кто пропадает надолго.
Например, к третьей неделе курса люди заходят меньше, а в последнюю активизируются и работают в четыре раза больше — как студенты перед сессией. Если настроить уведомления и мотивировать людей чаще заходить на второй-третьей неделе, обучение станет равномерным.
Среднее время на блок у людей, которые завершили и не завершили курс — показывает, что разные типы слушателей проходят курс в разном темпе. Это помогает адаптировать материалы под скорость, сделать процесс равномерным. Ещё данные показывают, где мотивировать пользователей остаться в системе дольше и наоборот — ускориться.
Например, блок питчинга курса по публичным выступлениям занимает в два раза больше времени, чем остальные. Не осилив его до конца, слушатели уходят. Вывод: нужно разбить материал на два блока. Люди не будут воспринимать его как большой и сложный и смогут «съесть слона» по кусочкам.
Разделение слушателей на типы. Мы часто упоминаем типы слушателей, и это разделение — тоже инструмент оценки. Когда мы понимаем, сколько людей каждого типа проходят курс, можем адаптировать под них контент, дополнительно мотивировать и даже менять способ продвижения курса.
Например, в нашем курсе много «заходящих» — людей, которые читают материалы до самого конца, но не выполняют задания или выполняют абы как. Значит, им нужно доказать ценность заданий и мотивировать на высокие результаты.
Социальная активность людей, которые завершили и не завершили курс. Этот индикатор показывает связь обучения с активностью в чатах, общением с другими слушателями, обменом опытом. Инструмент не влияет на качество курса, но может подсказать способы мотивации людей с помощью социальных заданий.
Если пользователи оставляют много отзывов о курсе, можно пообещать дополнительный балл за пост в социальной сети. Это одновременно мотивация и реклама курса. Главное, чтобы награда не противоречила логике начисления баллов. Если люди должны потрудиться в обучении, чтобы их заработать, награда за отзыв будет нелегитимной.
Комментарии по теме и нет. Они показывают, насколько пользователю важно разобраться в теме и узнать мнение сообщества. Так мы оцениваем, какие блоки вызывают больше вопросов, а какие — провоцируют споры. Это основа для доработок и новых курсов.
Например, в курсе по публичным выступлениям слушатели активно обсуждают навыки переговоров: спорят, доказывают, убеждают. Эти дебаты превращаются в user generated content — контент, который создают сами пользователи. Если поставить это на конвейер, вы будете получать темы и даже материалы новых курсов от самих пользователей.
Результативность в работе
Уровень результативности оценивает показатели бизнеса, которые изменились после обучения: продажи, прибыль, привлечение капитала. Курс по публичным выступлениям — не единственный фактор, который влияет на продажи. Есть ещё реклама, сезонность, рыночные тренды. Если обучение совпало с другим фактором, оценить его влияние на показатели будет сложнее, но всё ещё возможно.
Здесь у нас два инструмента.
Оценка руководителя «до-после». Это ещё не бизнес-показатель, а только субъективное впечатление. Руководитель видит изменения, которые не укладываются в операционные показатели — они могут быть важнее.
Например, люди оценили важность ораторских навыков для работы. Это важный инсайт, который не выразить в цифрах. Даже если бизнес-показатели не изменились, результат уже есть — дальше будет проще вовлекать людей в новые курсы и добиваться результатов.
Выполнение KPI до и после. Мы оцениваем показатели не сразу после обучения, а хотя бы через месяц. Если показатели выросли и результат держится после курса месяц, квартал, полгода — обучение приносит реальную пользу. Если эффект со временем проходит, мы снова общаемся с сотрудниками, чтобы узнать причину.
Например, на энтузиазме после курса люди работают активнее, применяют новые инструменты, эмоционально вкладываются в дело. Но результаты не появляются сразу, и люди теряют мотивацию. Важно объяснить, что это нормально: эффект наступает со временем.
Запомнить
Оценить эффективность онлайн-курсов можно через поведенческие изменения и результативность в работе. Первые показывают, используют ли слушатели новые знания на практике, и если да — как. Результативность в работе — какие показатели бизнеса изменились после обучения. Например: продажи, прибыль, привлечение капитала. Совсем не обязательно использовать все техники — их применение варьируется от курса к курсу.
