Чтобы продукт действительно работал в долгосрочной перспективе, нужно постоянно мониторить и анализировать важные показатели, исследовать поведение и реакцию пользователей и итеративность улучшать продукт. Именно для этого и нужны метрики.
Метрики помогают ответить на многие вопросы, но важно понимать, какие из них, как и когда использовать и на какие стоит обращать внимание в первую очередь при любых изменениях. И понять это бывает достаточно сложно — хотя бы потому, что каждый полученный показатель можно интерпретировать по-разному.
У большинства успешных продуктовых команд и компаний есть свой список метрик, на которые смотрят в первую очередь и по которым судят о результатах работы над продуктом. Более того, эти метрики фигурируют почти на всех дашбордах.
Но как определиться с этим набором метрик? Ведь так легко в них запутаться! Есть ряд методологий, которые рассказывают, как правильно надо раскладывать метрики по полочкам. Например:
Посмотрим на каждый из методов и на то, как они применяются.
1. Фреймворк HEART
Фреймворк HEART был разработан Google: он отражает качество опыта и впечатлений пользователя при взаимодействии с продуктом.
В фреймворке выделяют пять метрик, которые значимо влияют на пользовательский опыт. Название модели «зашифровано» в первых буквах этих метрик:
Happiness (Счастье)
Engagement (Вовлечение)
Adoption (Принятие)
Retention (Удержание)
Task Success (Успех ключевых задач)
Всё вместе это — набор UX-метрик, которые позволяют получать обратную связь от пользователей и реагировать на неё в реальном времени.
В фреймворк не входят конкретные метрики, поэтому их придётся продумывать индивидуально. Это неслучайно, потому что для различных продуктов важны разные показатели.
Фреймворк HEART хорошо подходит продуктам c монетизацией от рекламы, потому что, как правило, положительный пользовательский опыт для них играет ключевую роль. Например, чем выше timespent в ленте VK, тем больше рекламы будут смотреть пользователи и тем больше денег заработает VK.
Дополнительные материалы о HEART:
узнай о том, как «Мегафон» применяет HEART.
2. Фреймворк AARRR
AARRR (или «пиратские метрики») — это модель воронки продаж, используемая для анализа и принятия решений по продукту. В 2007 году её предложил Дэйв Макклюр, основатель 500 Startups.
А что это за странное название — «пиратские метрики»? Согласись, от аббревиатуры «AARRR» веет чем-то пиратским: именно это кричат пираты во время штурма :)
Каждая буква обозначает шаг воронки:
Acquisition (Привлечение)
Activation (Активация)
Retention (Возвращаемость)
Refferal (Готовность рекомендовать)
Revenue (Доход)
Воронка AAARRR существует практически у любого продукта
Фреймворк AARRR лёгок для восприятия и внедрения, и входящие в него метрики, как правило, довольно чувствительны и отлично отражают результат любых изменений в продукте. Многие компании, которые действуют по принципу growthhacking и постоянного тестирования гипотез, используют именно фреймворк AARRR, проверяя влияние изменений на различные этапы воронки пользователя.
3. Иерархия и пирамида метрик
Одни из наиболее популярных и часто используемых фреймворков — иерархия и пирамида метрик. Они позволяют структурировать и упорядочить показатели, определив зависимости между ними и минимизировав количество метрик для отслеживания (если они отражают одно и то же и/или очень тесно взаимосвязаны).
Иерархия метрик — это древовидная структура метрик, во главе которой находится главная метрика продукта (NordStarMetric). В верхней части иерархии — наиболее важные метрики, в нижней — наименее важные. Все метрики зависят друг от друга, и для того, чтобы построить иерархию метрик, нужно понимать, как метрики взаимосвязаны между собой.
Другой способ построить иерархию — разобраться, как ведёт себя пользователь в твоём продукте. Возможно, тебе понадобится построить карту поведения пользователя (CJM).
Зная, что перед оформлением заказа пользователь совершает ряд других действий — таких, как заполнение формы заказа, переход в корзину, добавление товара в корзину и т. д., — мы можем разбить нашу основную метрику на составные метрики и отслеживать каждую из них отдельно.
Зачем такие пирамиды нужны продукту и командам?
Используя такие методологии в компании, ты позволяешь командам:
правильно декомпозировать и приоритизировать свой бэклог;
быстро находить проблемы;
Обозначить зоны ответственности и сосредоточиться на своём продукте.
Другой популярный подход, включающий в себя как иерархию, так и классификацию метрик — это пирамида метрик.
Пирамида метрик концептуально похожа на иерархию метрик, но её отличает то, что нужно не только определить взаимосвязанные метрики, но и классифицировать их. Классификацию придумали потому, что иерархия в одиночку редко дает значимые эффекты для порядка в аналитике или управлении изменениями на основе данных.
Пирамида помогает быстро разобраться в том, что происходит в компании, куда смотрят инвесторы, а куда — руководители проектов.
Рассмотрим классификацию метрик в пирамиде метрик.
1. Business (Инвесторам). Метрики, которые мы показываем инвесторам. Они могут быть разные в зависимости от типа продукта и его стадии развития. Если у e-commerce основная цель — завоевать рынок, то инвесторы смотрят на текущую долю рынка, оборот (GMV), количество покупателей, количество новых покупателей, а также на отношение всех этих метрик к предыдущему периоду (год к году), показывающие скорость роста.
2. Margin (Экономика). Сюда входят все метрики, касающиеся юнит-экономики и маржинальности: CAC, ARPU, LTV, Gross Profit, Revenue.
3. Loyality (Лояльность). Метрики, которые показывают, насколько пользователи к нам лояльны: Retention, Churn, NPS, средняя оценка приложения в App Store/Google Play.
4. Value (Ценность). Метрика, показывающая ценность нашего продукта для пользователя. Конверсия в покупку — хороший пример такой ценности, ведь это означает, что пользователь зашёл в приложение, нашёл нужный товар с выгодными условиями и ценой, его все устроило, и он купил товар. Пример работы с онлайн-метрикой показан в этой статье.
5. Quality (Качество). Предполагаемое качество продукта или покрытие. Пример: ты разрабатываешь новый рекомендательный алгоритм для товаров, которых нет в наличии. На исторических данных ты можешь подсчитать, сколько таких товаров в день просматривают, и сколько раз твой алгоритм смог бы предоставить альтернативу товару, которого нет.
6. Marketing (Маркетинг). Всё, что связано с трафиком, с разбивкой по маркетинговым каналам: DAU, MAU, Clicks, Cost, Installs.
Важно!
Если метрика находится внизу пирамиды — это не значит, что она не может быть интересна бизнесу и инвесторам. Любая метрика может стать ключевой для всего бизнеса. Loyality + Value + Quality — это зона ответственности продукта и соответственно продуктового аналитика.
доп. материалы : На Medium можно прочитать подробные статьи об иерархии и пирамиде метрик от Елены Серёгиной (ex-аналитика «Яндекс» и основателя DataLatte):
Метрики часто обозначаются аббревиатурами. Важно понимать, что за ними скрывается. В таблице ты найдёшь самые распространённые типовые метрики.