Найти тему
Роман Рабинович

Как отслеживать успешность иницативы? Метрики!

Оглавление

"Правильным ли путем идете, товарищи?" - эту фразу впору задавать Product owner-ам, которые стремятся как можно быстрее реализовывать свои инициативы, идеи (зачастую тратя деньги инвесторов), но не задумываются о том, что их гипотезы могут быть ошибочными и тратить на них время и ресурсы не стоит. Проверить то, насколько это имеет смысл, насколько идеи верны, решают проблемы пользователей и помогают принести прибыль, помогают метрики.

«Ключевые метрики» - это один из самых важных блоков «Карточки инициативы», в которую она упаковывается - по ним мы можем отслеживать, каким образом инициатива продвигается - т.е. то, насколько она успешна, насколько она не успешна.

Важно не путать ключевые метрики с источниками прибыли – данные по ней мы получаем уже в тот момент, когда инициатива запущена. Сразу мы не можем их получить, а метрики задаем сразу.

Соответственно, в «Источниках прибыли» у нас обозначено «увеличение количества активных цифровых клиентов банка», так как мы знаем, что цифровой клиент приносит банку на 80% дохода в месяц больше, чем клиент, который не пользуется мобильным банком.

Ключевые метрики помогают отслеживать успешность инициативы
Ключевые метрики помогают отслеживать успешность инициативы

Ключевые метрики помогают нам отслеживать инициативу с самого начала - т .е. уже по результатам первого дня мы можем посмотреть, насколько та или иная метрика приближает или не приближает нас к той цели, которую мы себе поставили.

Если она недостаточно хороша (в смысле показатели не радуют), то, значит, наша гипотеза, протестированная нами, была неверна, и пользователи, например, не заходят в мобильный банк не по причине сложного входа.

Значит, метрику надо «докручивать».

Метрики бывают абсолютные и..относительные – лучше выбирать их!

Относительная метрика более чувствительная
Относительная метрика более чувствительная

Потому что если мы просто выберем количество пользователей, которые прошли авторизацию, это не позволит нам сравнивать эту метрику с предыдущими периодами

Относительная метрика более чувствительная, чем абсолютная.

Если мы возьмем просто количество авторизаций, то оно всегда будет разным. Оно может отличаться в разы - в день, когда мы сделали какую-то акцию, или в день, когда зарплатный день, в будни или выходные.

Но, если мы возьмем процент успешных авторизаций, то мы, как раз, сможем измерить эффект от данной инициативы вне зависимости от количества людей, которые у нас авторизовались.

Процент примерно будет всегда примерно одинаковый. Он не будет зависеть от дня недели, он не будет зависеть от каких-то внешних условий.

Метрики и отслеживание поведения когорт (сегментов) клиентов
Метрики и отслеживание поведения когорт (сегментов) клиентов

Также важно, что относительная метрика помогает сравнивать разные когорты или разные сегменты клиентов

Абсолютная метрика не покажет, повлияла ли реализация инициативы на изменение метрики.

А если брать относительную метрику, то мы можем провести некий A/B тест - например, в нашем случае поставить у части пользователей новую авторизацию, у части пользователей старую авторизацию. И тогда вот этот процент успешных авторизаций на одной и на второй группе пользователей будет совершенно разный. Если он будет не разный, то значит, наша гипотеза не подтвердилась и эксперимент провалился. И это покажет наша метрика.

Итак, относительная метрика — "сигнальная, упреждающая", работающая с самого начала продвижения инициативы.

Если количество активных пользователей и доход по этим активным пользователям, условно, мы сможем посчитать только через месяц, после того как эти пользователи начнут делать какие-то операции в мобильном банке, то метрика с самого начала помогает понять, что заданный показатель растет.

Нужна помощь в развитии продуктовой функции корпорации и обучении продуктовых команд, Product owners? Обращайтесь!

Мы всегда на связи: Telegram, сайт, info@neuromap.tech.