Мониторинг эффектов - это регулярная практика этапа Deploy, построенная на артефакте "Дашборд метрик". Она и этот артефакт нужны, чтобы после внедрения своих инициатив вы могли отслеживать эффект от них и видеть, сбывается ли ваш прогноз - как и какие метрики растут в результате реализации инициативы. Вы можете мониторить ситуацию и по ходу дела предпринимать какие-то решения.
Если, например, вы видите, что метрика падает, не растет, либо растет недостаточно, это дает вам пищу для размышлений, чтобы произвести дополнительный research, Discovery и что-то изменить.
Для мониторинга эффектов необходимо владеть инструментами для создания дашборда метрик. Его можно формировать в Excel, хотя дашборд с автоматически собираемыми данными предпочтительнее.
Это может быть Tableau (`Таблу), какие-то внутренние системы аналитики (если вы работаете в корпорации, с этим могут помочь ваши CDO).
§ В дашборде метрик должно быть указано название инициативы.
§ Все метрики необходимо добавить в дашборд.
Baseline - это текущее значение от которого мы хотим отталкиваться.
Целевое значение метрики - тот показатель, который мы хотим видеть в дальнейшем.
Текущее значение - поле обновляемое с той частотой, с которой вы проводите мониторинг и обращаетесь к дашборду метрик.
Эффект по деньгам - тоже постоянно обновляемое значение.
У вас должна быть понятная формула, позволяющая вычислить, в какое value в деньгах конвертируется прирост метрики.
Дата релиза - берется из Дорожной карты (roadmap), карточки проекта.
Distribution date - это дата, когда мы начинаем активно продвигать нашу фичу - дистрибутировать ее до клиента. Это запуск каких-то маркетинговых кампаний, рекламы.
Вы можете обогащать ДМ, но не усложняйте его, чтобы он не вырос до таких размеров, объемом данных, с которыми будет неудобно работать на встречах по мониторингу эффектов.
Также в дашборде есть два графика динамики:
- слева - по метрике
- справа - по эффекту в деньгах
В результате практики "Мониторинг" эффектов, Product owner, получая обратную связь от стйекхолдеров, участников встречи, делает выводы о том, почему метрики изменились тем или иным образом и принимает решение, как ситуацию скорректировать, изменить в лучшую сторону.
На встрече по мониторингу эффектов Product owner показывает презентацию, основанную на дашборде метрик, также содержащую его выводы о причинах поведения метрик и выводах, как его можно корректировать.
Во встрече по мониторингу метрик участвуют:
1. Владелец продукта, который делится своими выводами, сделанными на основании поведения метрик, рассказывает об их динамике.
2. Команда
Product owner очень важно держать команду в курсе того, что происходит с теми задачами, которые выполняла команда.
Это очень сильно влияет на ее мотивацию, вовлеченность участников в процесс работы над продуктом. У них появляется уверенность, что они не просто решают какие-то задачи, оторванные от жизни, а понимают, как эти решения влияют на бизнес.
3. Стейкхолдеры: заинтересованные лица, заказчики, спонсоры
Им тоже важно понимать, как вы со своей командой реализуете какие-то функциональности (фичи) в продуктах, как вы влияете на основные метрики продукта, бизнес, приносите доход.
Основные принципы, применяемые в практике "Мониторинг эффектов"
1. Регулярность
Встречи "Мониторинг эффектов" должны проводиться регулярно, с определенной частотой.
В каждой компании регулярность определяется по-разному – от 1 раза в неделю до 1 раза в месяц.
2. Обратная связь
Должна быть конструктивная обратная связь от команды, заказчиков, стейкхолдеров – не просто критика, а предложения решений по улучшению.
Например, если Владелец продукта на встрече по мониторингу метрик рассказывает о том, что у его продукта начинает падать retention (удержание клиентов), и если на встрече присутствует заказчик у которого есть большая экспертиза в работе с retention, с удержанием клиентов, то этот человек может поделиться своим опытом, что можно сделать, чтобы эту метрику выровнять.
3. Гипотезы - почему? Решения - что мы делаем?
Контент встреч по мониторингу эффектов не должен ограничиваться просто констатацией фактов, что одни показатели выросли настолько-то, а другие просели на столько-то.
Очень важно, чтобы Владелец продукта проделывал аналитическую работу.
На встрече обязательно должны звучать гипотезы: почему произошло именно так, почему есть именно такая динамика по метрике, и гипотезы о решении - что вы планируете делать на основании всего случившегося и на основании проделанной работы.
4. Продолжительность отслеживания метрик
Если говорить о том, как долго нужно по той или иной инициативе отслеживать метрики, то продолжительность вы определяете сами, когда вы формулируете ключевые метрики в карточке инициативы.
Например, мы запускаем какую-то фичу.
"Я как Владелец продукта держу в голове, что первые три-четыре месяца я буду регулярно следить за ключевыми метриками и каждые две недели я буду отчитываться по этим метрикам на встречах по мониторингу метрик.
Если будет в этом необходимость, я буду инкрементить в мой бэклог продукта и менять приоритеты, если что-то будет случаться.
А через три-четыре месяца, когда динамика по метрикам выйдет в рабочий формат, я уже буду в рамках уже квартальных, полугодовых целей просто отслеживать эти показатели". Решение за вами.
Например, в одном из крупных банков встреча по мониторингу эффекта проводилась 1 раз в две недели, и формат отчета выглядел следующим образом:
- у каждого Владельца продукта были 1-2 слайда - на слайды Владелец продукта выносил скриншоты из банковской системы аналитики, как внешней так и внутренних систем аналитики.
В этих скриншотах он подчеркивал важные для него метрики и важное для него поведение этих метрик.
- На следующем слайде были отображены два списка с выводами.
1. Какие выводы сделал Владелец продукта на основании динамики метрик - то есть это были гипотезы, почему так произошло.
2. План действий, что Владелец продукта планирует делать дальше, action лист - список планируемых действий.
В нем могло быть, например:
- провести дополнительное Discovery, дополнительную серию интервью или опрос пользователей - почему, например, они не забирают карты
- провести какое-то дополнительное UX-исследование
- доработать лендинг и "повесить" на него дополнительные события для аналитики, чтобы детализировать воронку
- дополнительно реализовать ту или иную user story, добавить определенный фильтр в витрину товаров и т.п.
Когда подходил период окончания регулярного мониторинга, который Владелец продукта закладывал как отчетный по новой фиче, появлялся дополнительный слайд, на котором отображалось:
- угадали мы или не угадали с прогнозом по метрике
- насколько мы его, по факту превысили или отстали от него
- почему это произошло
- что мы планируем с этим делать:
- либо оставим так, как есть, потому что причина объективные
- либо, например, причина в том, что мы что-то не учли, не доработали и нам нужно еще дополнительное сделать доработки, мы с командой потратим дополнительные силы, дополнительный бюджет на то, чтобы исправить ситуацию"
Хотите узнать больше о продуктовой разработке, вам нужно обучение "продактов" или топ-менеджмента, необходимо внедрить продуктовый подход? Обращайтесь, мы на связи: сайт, Telegram-канал, info@neuromap.tech.