💡 Метрики здоровья продукта

💡 Метрики здоровья продукта

Зайдите в кабинет любого менеджера образовательного продукта в EdTech — и на его панели показателей почти всегда будут три ключевые метрики: выручка, доходимость курса (completion rate) и индекс лояльности (NPS).

Если эти показатели растут, кажется, что образовательный продукт развивается и школа работает успешно. Но в доказательном образовании мы понимаем: сами по себе эти метрики почти ничего не говорят о качестве обучения.

Ловушка NPS и «эффект доктора Фокса»

Индекс лояльности (NPS) пришел в образование из сферы услуг. Он отвечает на вопрос: «С какой вероятностью вы порекомендуете этот курс другу?». Однако в образовательном контексте студент часто не может адекватно оценить качество программы сразу после ее завершения.

Это хорошо иллюстрирует известный эксперимент 1970-х годов — «эффект доктора Фокса». Актер, выступавший под видом эксперта, прочитал лекцию, наполненную наукообразными, но бессодержательными утверждениями. Он делал это уверенно, с юмором и харизмой.

Слушатели, среди которых были студенты и специалисты, высоко оценили лекцию и сообщили, что узнали много нового.

Эксперимент показал: впечатление от преподавателя и эмоциональная вовлеченность могут легко подменять реальную образовательную ценность.

Высокий NPS чаще отражает пользовательский опыт:

➡️ слушателям было интересно,

➡️ им понравился преподаватель,

➡️ курс оказался удобным.

Это важные показатели взаимодействия с продуктом, но они скорее говорят о вовлеченности, чем о результатах обучения.

И если ориентироваться только на NPS, существует риск постепенно упростить содержание программы и сместить акцент с обучения на развлечение.

Доходимость курса: что показывает эта метрика

Доходимость традиционно считается одной из ключевых метрик образовательного продукта. Однако важно понимать, что именно она измеряет.

Показатель доходимости отражает, сколько пользователей дошли до последнего урока, но не показывает, поняли ли они материал, выполнили ли задания и смогут ли применить знания на практике.

В корпоративном обучении высокий показатель доходимости нередко связан с административными требованиями: например, курс необходимо завершить для аттестации или получения бонуса.

В программах для широкой аудитории доходимость может расти за счет игровых механик или упрощения заданий.

Таким образом, доходимость так же показывает уровень вовлеченности, но не уровень сформированных компетенций.

Как оценивать реальный образовательный результат

Исследователь обучения Уилл Тальхаймер предложил модель оценки эффективности обучения — LTEM (Learning-Transfer Evaluation Model) — она развивает классическую модель Киркпатрика и предлагает более детальную систему оценки образовательных результатов.

Модель включает восемь уровней.

Первые уровни фиксируют базовые показатели: посещаемость, активность и восприятие программы участниками. Именно здесь находятся привычные метрики вроде доходимости и NPS. Следующие уровни позволяют оценить реальные образовательные результаты.

🔘Знания. Студент понимает ключевые понятия и может воспроизвести их.

🔘Компетенция принятия решений. Он способен выбирать корректные решения в профессиональной ситуации, например, в кейсе или симуляции.

🔘Компетенция выполнения задачи. Он может выполнить реальное профессиональное действие: написать код, разработать учебный сценарий или подготовить продуктовую гипотезу.

🔘Трансфер. Полученные навыки начинают применяться в реальной работе спустя некоторое время после обучения.

🔘 Влияние. Применение навыков отражается на рабочих или бизнес-показателях.

Если говорить о качестве образовательного продукта, ключевыми становятся уровни компетенции и трансфера, то есть способность применять знания на практике.

А о том, какую роль играет Трансфер и как его измерить, — в следующий раз 💖