MotoGP: Гран-При Италии
В живописной сельской местности Тосканы на одном их самых современных и безопасных треков в мире в рамках Гран-При Италии лидирует один из лучших мотогонщиков современности - Валентино Росси.
Мы с вами как менеджеры гоночной команды Petronas Yamaha SRT отслеживаем ключевую метрику - скорость мотоцикла Росси. И вот мы видим как скорость падает! Почему? Что случилось?!
Отслеживая только скорость мотоцикла мы не понимаем причины ее изменения. Окей. Сделали выводы и начинаем мониторить еще уровень открытия газа, степень нажатия тормозного рычага и педали тормоза. Мы во всеоружии.
Снова гонка. Мы видим как стремительно мотоцикл Росси приближается к очередному виражу, в невероятном наклоне проходит апекс и... вместо взрывного ускорения мотоцикл снова замедляется. Смотрим параметры: тормоза не нажаты, а вот газ открыт на полную! Может быть кончился бензин? А может быть неисправен двигатель?
Так какие же метрики нам контролировать? Окей, добавляем на наш дашборд угол наклона мотоцикла, обороты двигателя, давление воздуха, давление масла, температуру охлаждающей жидкости и заодно масла, датчики температуры колес и еще 100500 параметров.
Смотрим теперь на наш дашборд и... ничего не понимаем. ОН НЕ ИНФОРМАТИВЕН, а значит большинство данных мы не используем. Получается аналитика ради аналитики. Так не работает.
Вы можете считать хоть тысячу метрик, но если вы их не используете, то это бесполезно.
--------------------------------------------------
Другой пример. Нам нужно увеличить скорость прохождения круга, а для этого необходимо быстрее проходить повороты. Работа с газом и тормозом у нашего Валентино Росси не вызывает вопросов, значит надо увеличивать угол наклона мотоцикла в повороте. Контролируем соответствующую метрику и погнали! Первый же поворот и падение. Ну, думаем мы, он просто сильно наклонил, бывает. Снова поворот и снова падение.
Возвращаемся в бокс и анализируем метрики. Из-за нашего нововведения с увеличением угла наклона просела основная метрика - скорость прохождения круга. Но мы верим в успех нашего решения и начинаем искать причины. Проводим качественные интервью с гонщиками и техниками и получаем инсайт - сцепление колес с дорогой напрямую зависит от температуры шин. Ну чтож, теперь разогреваем шины перед гонкой и становимся чемпионами!
--------------------------------------------------
Метрики, ровно как и их выбор - это очень важно. Метрики могут стать вашим самым лучшим другом, но не все так однозначно. Опираться только на данные не всегда верно.
Так, data-driven подход (принятие решений на основе четких количественных данных) хорош для принятия небольших ежедневных решений. Для принятия же решений относительно развития продукта такой подход может быть опасен. Тут уже необходимо подключить интуицию и это будет уже data-informed подход. А вот если нужны кардинально новые, инновационные решения, то применяется data-inspired подход, где данные используются лишь для определения контекста и вдохновения.
Хороший пример привел Дмитрий Животворев из продуктовой команды Яндекс Дзен в своем выступлении для школы продакт-менеджеров от Яндекса. Он рассказал, что "до 2017 года Дзен существовал просто как агрегатор статей с разных сайтов", а "вначале 2017 года мы решили что хотим сделать свою платформу". Когда они все таки запустили платформу, они увидели что метрики ухудшились, то есть данные говорили о провале идеи. Но была подключена интуиция (вспоминаем data-informed подход) и принято решение продолжать развивать платформу и команда не ошиблась. В результате на текущий момент со слов Дмитрия "платформа увеличивает метрики, то есть если ее отключить, то все становится хуже. ... Эта история про то, что вначале мы двинулись в ту сторону, которая кажется не правильной и данные говорят, что туда не надо идти, но в конечном итоге все стало лучше".
Делаем выводы =)
--------------------------------------------------
То что метрики это классно мы определили. Какие метрики будем использовать?
Важно понимать, что нет универсальных метрик подходящих всем продуктам. Вы вообще можете придумать какую-нибудь уникальную метрику, подходящую для вашего продукта. Например, для сервиса знакомств очень полезна метрика profile quality — полнота заполнения профайла. Она напрямую влияет на retention, ведь чем больше фотографий и информации о себе добавил пользователь, тем больше откликов и лайков соберет его анкета. Интересно, да?
НО главное не придумать метрику, а ей пользоваться. Как говорят в мотомире - пылящаяся на полке экипировка тебя не защищает. Так и метрики бесполезны если ты не используешь полученные данные.
Тем не менее выделяют три критерия хорошей метрики:
- сравнительная - вы можете сравнивать эту метрику во времени (ее изменение в лучшую или в худшую сторону);
- понятная - метрика должна быть понятна вашей команде (чтобы было понятно зачем ее улучшать);
- метрика должна менять ваше поведение (вы можете измерять хоть тысячу метрик, но если вы ничего с этими данными не делаете, то эти метрики бесполезны).
Есть метрики, которые важны для всех продуктов:
1. Customer Acquisition Cost (CAC) — стоимость привлечения клиента (считаем: бюджет на рекламу делим на количество привлеченных пользователей);
2. Retention rate — коэффициент удержания пользователей
(считаем: количество активных пользователей на конец периода делим на количество пользователей на начало периода и не забываем умножить на 100%);
3. Churn rate — коэффициент оттока клиентов, то есть обратная к retention rate метрика
(считаем: из 1 вычитаем количество пользователей на конец периода, деленное на количество пользователей на начало периода, и не забываем полученный результат умножить на 100%);
4. Lifetime Value (LTV) — показывает прибыль, которую клиент приносит за все время использования продукта (считаем: к примеру для интернет магазина умножаем средний чек на частоту повторных покупок и на весь срок жизни клиента).
5. Daily Active Users (DAU) и Monthly Active User (MAU) — количество уникальных пользователей, которые используют продукт, за день и за месяц, без учёта повторных сессий.
6. Net Promoter Score (NPS) — индекс потребительской лояльности. Показывает, насколько охотно ваши клиенты готовы поделиться впечатлениями от продукта (считаем: попросите пользователей ответить, насколько по шкале от 0 до 10 они готовы рекомендовать ваш продукт, где 0 — ни за что не готовы, а 10 — обязательно порекомендуют. Ответы выявят три группы клиентов — критиков (от 0 до 6), нейтралов (7-8) и промоутеров (9-10). Так вот NPS это общее число промоутеров (%) — общее число критиков (%). Хорошим считается NPS более 50%.)
7. Session duration — метрика, которая показывает, сколько времени пользователь провёл в продукте (например, для Кинопоиска время сессии чем больше, тем лучше. Задача Яндекс такси, наоборот, сократить время сессии).
--------------------------------------------------
В общем и целом (привет Алексею Щербакову) дружите с метриками, используйте их с умом и у Вас будут отличные продукты!