Когда метрики не работают?

“Пока ваш продукт масштабируется и растет, ваши метрики могут выглядеть сумбурно.”

Эндрю Чен

На идею данной статьи меня натолкнули размышления Эндрю Чена в его блоге, а именно в статье “Почему продуктовые метрики такие ужасные”. Его статья начинается со слов о том, что он никогда не встречал владельцев бизнеса, которые бы были довольны показателями метрик по своим продуктам. Причем то, что эти показатели выглядят кошмарно, это норма. А так ли это или на самом деле просто используются неправильные метрики или не в то время?

Начну я с самого начала, что такое вообще метрики и какие они бывают, чтобы уже на этой базе понять, что с ними может быть не так.

Что такое продуктовые метрики?

Определений что такого продуктовые метрики существует огромное количество. Intercom дает такое определение: “метрики продукта - общепринятые измерения, которые помогают менеджерам по продукту и маркетологам оценить успех своего продукта”. Метрики позволяют всем лицам, принимающим решение в компании определить как пользователи взаимодействуют с продуктом, какую ценность приносить продукт компании и как он может быть улучшен.

Единое четкое определение найти очень сложно, но все согласны в том что это мера, которая демонстрирует успешность того или иного параметра.

При этом существует огромное количество блогов, книг и статей, которые наполнены различными определениями и советами, как измерять те или иные показатели продукта.

Какие метрики бывают и как ими пользуются?

Прежде чем отвечать на этот вопрос, важно понимать, что продукт это часть большой системы рынка. Поэтому метрики продукта находятся в области метрики рынка и экономики.

Об этом же и говорил Александр Токмаков на конференции Product Sense: “Нельзя рассматривать метрики продукта в отрыве от метрик рынка. В зависимости от того на каком рынке будет или уже существует продукт, будут применимы те или иные метрики, соответствующие этому рынку и стадии рынка.”

Метрик существует огромное количество и с развитием области их становится только больше. Можно выделить такие основные группы метрик:

Бизнес-показатели и финансовые метрики:

• регулярная выручка в сравнении с общей выручкой (booking vs. revenue)
• количество контрактов в сравнении с выручкой [ARR, MRR]
• ARPU
• валовая прибыль (gross profit)
• TVC (total contract value) и ACV (annual contract value)
• LTV (lifetime value)
• GMV (gross merchandise value)
• Отложенная выручка (deferred revenue)
• CAC (customer acquisition cost)

Экономические показатели:

• сетевой эффект
• виральность
• экономия на масштабе

Продуктовые показатели и метрики вовлеченности:

• количество активных и зарегистрированных пользователей
• средний месячный прирост (MoM) или CMGR (compounded monthly growth rate)
• отток пользователей или денег (churn rate)
• скорость сжигания капитала (burn rate)
• количество скачиваний
• NPS (net promoter score)
• когортный анализ
• источники трафика
• конверсии переходов
• количество использований элементов
• показатели отказов

Технические метрики:

• скорость загрузки
• время вычисления
• Общие метрики:
• метрики роста
• chart tricks
• порядок действий

Описание большей части этих метрик можно посмотреть в блоге венчурного фонда Andreessen Horowitz, позже они выпустили еще и дополнение к этому списку.

Все эти метрики объединяет одно - эти метрики, которые важны инвесторам, по ним инвестор определяет принесет ли продукт прибыль и будет ли успешен. Эти метрики позволяют (позволяют ли?) определить движение продукта или бизнеса, определить вектор его развития.

Очень часто бизнес метрики становятся продуктовыми показателями, но, к сожалению, такие метрики не помогут продуктовому менеджеру понять куда двигаться дальше в плане развития продукта. Значения бизнес метрик можно менять и не меняя самого продукта, а, например, изменяя только ценовую политику или проводя определенную рекламную политику. Что еще опаснее - эти метрики со временем могут сами расти вне зависимости от развития продукта. Поэтому необходимо быть осторожными с тем, что ставит во главу такие метрики, смотря на растущие показатели мы можем просто не увидеть каких-то критичных моментов или проблем с продуктом.

Какие ошибки могут быть совершены?

Каждая метрика должна применять с учетом рынка и стадии рынка, на котором находится продукт, а также учитывать особенности области продукта. Что надо учитывать при использовании метрик:

• Знать особенности расчета метрики. Например, для SaaS сервисов в ARR нельзя включать какие-либо единоразовые платежи (setup fees), так как если мы учтем такие платежи в наших расчетах и умножим на 12 месяцев, мы получим далекую от реальности и очень оптимистичную картинку.
• Не использовать только одну метрику, не учитывать несколько показателей в совокупности. Например, показатель “общее количество пользователей” не позволяет увидеть динамику развития продукта (как понять, что 1000 пользователей это хорошо?). С этим показателем необходимо применять сегментирование и анализ поведения аудитории. А с показателем “о количестве скачиваний” лучше смотреть конверсию.
• Не путать продуктовые и бизнес метрики. О чем может сказать выручка, только о том что она выросла или упала, но она не говорит о самом развитии продукта, так как она может вырасти и просто потому что мы изменили ценовую политику.
• Метрики лучше всего использовать на сегментах пользователей, а не на всех пользователях сразу. Например, у вас в продукте наблюдается в целом сильный отток пользователей. Если опираться только на измерение всей аудитории, можно сделать неправильные выводы - клиенты потеряли интерес к продукту. При этом, если посмотреть показатель в разных сегментах, то это может помочь получить более полезную информацию - только в одном сегменте изменилось отношение к продукту.
• Сначала надо понять, что мы хотим узнать (надо сформулировать правильный вопрос) - успешна ли наша стратегия или успешен наш продукт? То, что подходит для SaaS может не подходить для измерения продукта, который эта компания продает. Типичными финансовыми метриками для SaaS компаний является уровень конверсии из триальной версии в оплату и MRR (Monthly Recurring Revenue). Эти метрики позволят оценить успешность выбранной стратегии, но они никак не помогут продуктовым командам, так как не отвечают на важные для них вопросы - “А видит ли пользователь пользу в продукте?”, “Как просто использовать продукт?”.
• Под разные продукты используются разные метрики. Для SaaS продукта используются обычно такие метрики, как: среднее время на переход пользователя из пробного использования в платящего пользователя; процент пользователей, использующих определенную функцию; среднее количество раз пользователь совершил ключевое действие; среднее количество ключевых действий, совершенных за сессию. При этом, такие метрики не подойдут для измерения электронной книги.
• Под разные цели продукта, используются разные метрики.
• Не ожидать высоких показателей. Этот пункт актуален для владельцев бизнеса, так как часто очень трудно продукт менеджеру объяснить владельцам компании, что показатель конверсии в 5%, это не так уж и плохо. Индустрия технологий сконцентрирована на превосходных продуктах, на “единорогах”. Например, если число ваших пользователей мобильного приложения, которые возвращаются каждый день около 10%, это круто, а если больше 10% - то большой успех. Чаще эти показатели не превышают 5%.
• Не использовать метрики, ради метрик. Не надо из метрик делать свалку. При подходе карго-метрик собираются данные по десяткам параметров, пользы от такого подхода мало, так как не позволяет сфокусироваться на самом главном.
• Не забывать про целевую аудиторию/пользователей, которые стоят за цифрами. Целевой аудитории все равно сколько вы вложили в продукт. Если заботиться только о продукте (о метриках продукта), но не думать о целевой аудитории, то в итоге получим, что люди не будут пользоваться продуктом.

Самое главное что надо помнить, что метрики это относительные показатели. Метрики всегда надо сравнивать между собой, в разные периоды времени и с конкурентами. Также метрики надо подбирать под цели компании, команды, идеи и гипотезы.

Рекомендуемый план для определения метрик

План, которые представлен ниже я взяла из статьи, которая мне показалась очень правильной и полезной, так как он оказался “живым” - согласно этим пунктам были выбраны метрики для работы моего отдела.

• Напишите цели, которых хотите достичь. Если они у вас уже есть, то держите под рукой, чтобы не терять ориентиры.
• Уточните заказчиков метрик. Разные стейкхолдеры и отделы могут просить вас собирать данные, которые вам лично могут показаться не слишком нужными, но для них они важны.
• Напишите в качестве метрик сначала все, что приходит в голову. Буквально любые показатели, которые считаете метриками (создайте свалку).
• Из получившегося списка отделите метрики (то, что можно измерить).
• Разбейте метрики по категориям, которые вам нужны. Например, коммерческие, поведенческие, маркетинговые, качественные и количественные.
• Верифицируйте метрики. Проверьте каждую метрику из каждой группы — какую информацию дает, какие выводы вы сможете сделать на ее основе? В чем ее ценность? Как она поможет добиться вам целей? (см. “показатели тщеславия” у Э. Риса).
• Соберите первые метрики (реальные данные).
• Удалите ненужные метрики, чтобы не тратить на них время.

P.S. Некоторые команды работают (или работали) совсем без метрик. У таких команд нет плана на момент выпуска продукта. Но это скорее опыт, после которого такие команды все-таки приходят к тому, что метрики нужны.