БЕРЕЖЛИВАЯ АНАЛИТИКА - (перевод глав из книги - Lean Analytics: Use Data to Build a Better Startup Faster).
Аналитика - это отслеживание показателей, которые имеют решающее значение для вашего бизнеса.
Обычно эти показатели важны, потому что они связаны с вашей бизнес—моделью - откуда берутся деньги, сколько стоят вещи, сколько у вас клиентов и эффективность ваших стратегий привлечения клиентов.
В стартапе вы не всегда знаете, какие показатели являются ключевыми, потому что вы не совсем уверены, в каком бизнесе вы работаете. Вы часто меняете вид деятельности, который анализируете. Вы все еще пытаетесь найти правильный продукт или подходящую целевую аудиторию.
Цель аналитики в стартапе состоит в том, чтобы найти свой путь к нужному продукту и рынку до того, как закончатся деньги.
Что Делает Метрику Хорошей?
Вот несколько эмпирических правил для определения того, что является хорошей метрикой — числом, которое приведет к желаемым изменениям.
Хорошей метрикой является сравнительная метрика.
Возможность сравнить показатель с другими периодами времени, группами пользователей или конкурентами помогает вам понять, в каком направлении развиваются события.
“Увеличение конверсии по сравнению с прошлой неделей” более значимо, чем “просто увеличение конверсии на 2%”.
Хорошая метрика - понятна.
Если люди не могут запомнить это и обсудить, гораздо сложнее превратить изменение данных в изменение культуры.
Хорошая метрика - это соотношение или пропорция.
У бухгалтеров и финансовых аналитиков есть несколько "соотношений", на которые они обращают внимание, чтобы с первого взгляда понять фундаментальное состояние компании. Вам они тоже нужны.
Существует несколько причин, по которым "соотношения", как правило, являются наилучшими показателями:
- На основе соотношений легче действовать. Подумайте о вождении автомобиля. Пройденное расстояние носит информационный характер. Но скорость — расстояние в час — это то, на что вы можете ориентироваться, потому что это говорит вам о вашем текущем состоянии и о том, нужно ли вам ехать быстрее или медленнее, чтобы добраться до места назначения вовремя.
- Соотношения по своей сути являются сравнительными. Если вы сравните ежедневный показатель с тем же показателем за месяц, вы увидите, наблюдаете ли вы внезапный всплеск или долгосрочную тенденцию. В автомобиле скорость - это один из показателей, но превышение скорости прямо сейчас над средней скоростью за этот час многое говорит о том, ускоряетесь вы или замедляетесь.
- Соотношения также хороши для сравнения факторов, которые каким-то образом противоположны или для которых существует внутренняя напряженность. В автомобиле это может быть пройденное расстояние, разделенное на штрафы за нарушение правил дорожного движения. Чем быстрее вы едете, тем большее расстояние преодолеваете, но и тем больше штрафов получаете. Это соотношение может указывать на то, следует ли вам нарушать скоростной режим или нет.
Оставив на мгновение нашу аналогию с автомобилем, рассмотрим стартап с бесплатными и платными версиями своего программного обеспечения.
У компании есть выбор: предложить богатый набор функций бесплатно для привлечения новых пользователей или зарезервировать эти функции для платящих клиентов, чтобы они потратили деньги на их разблокировку.
Наличие полнофункционального бесплатного продукта может снизить продажи, но наличие некачественного продукта может привести к сокращению числа новых пользователей.
Вам нужна метрика, объединяющая эти два варианта, чтобы вы могли понять, как изменения влияют на общее состояние сервиса. В противном случае вы могли бы сделать что-то, что увеличит выручку от продаж за счет роста.
Хорошая метрика меняет ваше поведение.
Это, безусловно, самый важный критерий для метрики: что вы будете делать по-другому, основываясь на изменениях в метрике?
- “Бухгалтерские” показатели, такие как ежедневный доход от продаж, при вводе в вашу электронную таблицу должны сделать ваши прогнозы более точными. Эти показатели составляют основу учета инноваций Lean Startup, показывая вам, насколько вы близки к идеальной модели и соответствуют ли ваши фактические результаты вашему бизнес-плану.
- “Экспериментальные” метрики, такие как результаты тестирования, помогают вам оптимизировать продукт, ценообразование или рынок. Изменения в этих показателях существенно изменят ваше поведение. Согласуйте, в чем будет заключаться это изменение, прежде чем собирать данные: если веб-сайт "Х" приносит больше дохода, чем альтернативный, вы переходите на "Х"; если более половины ваших респондентов говорят, что не будут платить за функцию, не создавайте ее; если ваш курируемый MVP не увеличивает размер заказа на 30%, попробуй что-нибудь еще.
Определение и фиксация необходимых изменений в продукте - отличный способ обеспечить соблюдение дисциплинированного подхода. Хорошая метрика меняет ваше поведение именно потому, что она соответствует вашим целям: удержания пользователей, поощрения сарафанного радио, эффективного привлечения клиентов или получения дохода.
К сожалению, так происходит не всегда. Известный автор, предприниматель и оратор Сет Годин приводит несколько примеров этого в своем блоге, озаглавленном “Как избежать ложных метрик”. Как ни странно (а может, и нет!), один из примеров Сета, в котором участвуют продавцы автомобилей, недавно произошел с Беном.
Оформляя документы на его новую машину, дилер сказал Бену:
- Тебе позвонят на следующей неделе или около того. Они захотят узнать о вашем опыте работы в дилерском центре. Это быстро, займет у вас не больше минуты или двух. Это по шкале от 1 до 5. Ты ведь поставишь нам 5 баллов, верно? Ничто в этом опыте не оправдывает меньшего, верно? Если так, то мне очень, очень жаль, но 5 было бы здорово”.
Сет назвал бы это ложной метрикой, потому что продавец автомобилей потратил больше времени на то, чтобы получить хорошую оценку (что было явно важно для него), чем на то, чтобы обеспечить отличный опыт покупки, за что высокую оценку и дают покупатели.
Сбитые с толку отделы продаж тоже так поступают. В одной компании Алистер видел, как руководитель отдела продаж привязывал ежеквартальную компенсацию к количеству сделок, находящихся в стадии разработки, а не к количеству закрытых сделок или марже от этих продаж. В данном случае это означало избыток нежелательных потенциальных клиентов, на устранение которых ушло время, которое было бы гораздо лучше потрачено на поиск квалифицированных потенциальных клиентов.
Конечно, удовлетворенность клиентов или конвейерный поток жизненно важны для успешного бизнеса. Но если вы хотите изменить поведение, ваша метрика должна быть привязана к желаемому изменению поведения. Если вы измеряете что-то, и это не привязано к цели, что, в свою очередь, меняет ваше поведение, вы напрасно тратите свое время. Хуже того, вы, возможно, лжете себе и обманываете себя, заставляя верить, что все в порядке. Это не способ добиться успеха.
Еще одна вещь, которую вы заметите в метриках, заключается в том, что они часто используются парами.
Коэффициент конверсии (процент людей, которые что-то покупают) привязан ко времени совершения покупки (сколько времени кому-то требуется, чтобы что-то купить). Вместе они многое расскажут вам о вашем денежном потоке.
Аналогичным образом, коэффициент виральности (количество людей, которых пользователь успешно приглашает на ваш сервис) и время вирусного цикла (сколько времени ему требуется, чтобы пригласить других) определяют уровень вашего принятия.
Когда вы начнете изучать цифры, лежащие в основе вашего бизнеса, вы заметите эти пары. За ними скрывается такой фундаментальный показатель, как выручка, денежный поток или принятие пользователями.
Если вы хотите выбрать правильные метрики, вам нужно иметь в виду пять вещей:
1. Качественные метрики в сравнении с количественными
- качественные метрики неструктурированы, носят эпизодический характер, раскрывают информацию и их трудно агрегировать
- количественные показатели включают цифры и статистику и дают точные цифры, но меньше понимания.
2. Метрики тщеславия в сравнении с действенными метриками
- Метрики тщеславия могут заставить вас чувствовать себя хорошо, но они не меняют того, как вы действуете.
- Действенные метрики изменяют ваше поведение, помогая вам выбрать курс действий.
3. Исследовательские метрики в сравнении с отчетными
- Исследовательские показатели носят спекулятивный характер и пытаются найти неизвестные идеи, которые дадут вам преимущество
- Отчетные метрики позволяют вам быть в курсе обычных, управленческих, повседневных операций.
4. Опережающие метрики по сравнению с запаздывающими
- Опережающие метрики дают вам прогнозное представление о будущем, запаздывающие - объясняют прошлое.
- Опережающие метрики лучше, потому что у вас еще есть время действовать в соответствии с ними — "лошадь еще не покинула конюшню".
5. Коррелированные и причинно-следственные метрики
- Если две метрики изменяются вместе, они коррелируют, но если одна метрика вызывает изменение другой метрики, они являются причинно-следственными.
- Если вы обнаружите причинно-следственную связь между тем, чего вы хотите (например, доходом), и тем, что вы можете контролировать (например, какую рекламу вы показываете), тогда вы сможете изменить будущее.
Аналитики рассматривают конкретные метрики, определяющие бизнес, называемые ключевыми показателями эффективности (KPI). В каждой отрасли есть ключевые показатели эффективности — если вы владелец ресторана, это количество накрытий (столиков) за вечер; если вы инвестор, это отдача от инвестиций; если вы медиа-сайт, это количество кликов по рекламе; и так далее.
Качественные метрики в сравнении с количественными
Количественные метрики просты для понимания. Это цифры, которые мы отслеживаем и измеряем — например, спортивные результаты и рейтинги фильмов.
Как только что-то ранжируется, подсчитывается или помещается на шкалу, это оценивается количественно. Количественные данные хороши и научны, и (при условии, что вы правильно рассчитали) вы можете их агрегировать, экстраполировать и поместить в электронную таблицу.
Но этого редко бывает достаточно, чтобы начать бизнес. Вы не можете подойти к людям, спросить их, с какими проблемами они сталкиваются, и получить количественный ответ. Для этого вам нужен качественный ввод.
Качественные данные беспорядочны, субъективны и неточны. Это материал для интервью и дебатов. Это трудно поддается количественной оценке.
Вы не можете легко измерить качественные данные. Если количественные данные отвечают на вопросы “что” и “сколько”, то качественные данные отвечают на вопрос “почему”.
Количественные данные не терпят эмоций, качественные данные - маринуются в них.
Изначально вы ищете качественные данные. Вы не измеряете результаты численно. Вместо этого вы обращаетесь к людям — в частности, к людям, которых вы считаете потенциальными клиентами на нужном целевом рынке.
Ты исследуешь мир. Ты выходишь из здания. Сбор хороших качественных данных требует подготовки. Вам нужно задавать конкретные вопросы, не вводя потенциальных клиентов в заблуждение и не искажая их ответы. Вы должны избегать того, чтобы ваш энтузиазм и искажение реальности передались субъектам вашего интервью. Неподготовленные интервью дают вводящие в заблуждение или бессмысленные результаты.
Метрики "тщеславия" в сравнении с "реальными"
Многие компании утверждают, что они применяют data-driven подход. К сожалению, в то время как они используют информационную часть этой мантры (data), немногие сосредотачиваются на втором слове: управляемый (driven).
Если у вас есть часть данных, на основе которых вы не можете действовать - это показатель тщеславия.
Необходимо, чтобы ваши данные информировали, направляли, улучшали вашу бизнес-модель, помогали вам определиться с курсом действий. Всякий раз, когда вы смотрите на метрику, спрашивайте себя:
“Что я буду делать по-другому, основываясь на этой информации?”
Если вы не можете ответить на этот вопрос, вероятно, не стоит слишком беспокоиться о данной метрике. И если вы не знаете, какие показатели изменили бы поведение вашей организации, вы не управляете данными. Вы барахтаетесь в зыбучих песках данных.
Рассмотрим, например, “общее количество регистраций”. Это показатель тщеславия. Это число может только увеличиваться с течением времени (классический график ”вверх и вправо"). Это ничего не говорит нам о том, что делают эти пользователи и представляют ли они для нас ценность. Возможно, они зарегистрировались в приложении и исчезли навсегда.
“Общее количество активных пользователей” немного лучше — при условии, что вы проделали достойную работу по определению активного пользователя, — но это все равно метрика тщеславия. Со временем она тоже будет постепенно увеличиваться, если только вы не сделаете что-то ужасно неправильное.
Реальный показатель интереса — тот, который можно использовать для принятия мер, — это “процент активных пользователей”.
Это важный показатель, поскольку он говорит нам об уровне вовлеченности ваших пользователей в ваш продукт. Когда вы что-то меняете в продукте, эта метрика должна измениться, и если вы измените его в лучшую сторону, она должна повыситься. Это означает, что вы можете экспериментировать, учиться и повторять это снова и снова.
Еще одна интересная метрика, на которую стоит обратить внимание, - это “количество пользователей, приобретенных за определенный период времени”. Часто это помогает вам сравнить различные маркетинговые подходы — например, кампанию в Facebook на первой неделе, кампанию в reddit на второй, кампанию в Google AdWords на третьей и кампанию в LinkedIn на четвертой.
Сегментировать эксперименты таким образом по времени не совсем точно, но это относительно просто. *
* (Лучший способ - запустить четыре кампании одновременно, используя аналитику для группировки привлеченных пользователей по отдельным сегментам. Вы получите свой ответ через одну неделю, а не через четыре, и учтете другие переменные, такие как сезонные колебания. Позже мы более подробно остановимся на сегментации и когортном анализе)
И это реально: если Facebook работает лучше, чем LinkedIn, вы знаете, куда потратить свои деньги. Действенные метрики - это не волшебство. Они не скажут вам, что делать — в предыдущем примере вы могли бы попробовать изменить свои цены, или среду, или формулировку. Суть здесь в том, что вы делаете что-то на основе собранных вами данных.
8 метрик тщеславия, на которые следует обратить внимание
Легко влюбиться в цифры, которые идут вверх и вправо. Вот список из восьми пресловутых показателей тщеславия, которых вам следует избегать:
1. Количество просмотров.
Это показатель первых, "глупых" дней существования Интернета. Если у вас есть сайт с большим количеством объектов на нем, это будет большое число. Вместо этого считайте людей.
2. Количество просмотров страницы.
Это лишь ненамного лучше, чем количество просмотров, поскольку подсчитывается количество раз, когда кто-то запрашивает страницу. Если только ваша бизнес-модель не зависит от просмотров страниц (например, от количества показанной рекламы), вместо этого вам следует подсчитывать количество людей.
3. Количество посещений.
Это один человек, который посещает сто раз, или сто человек посещают один раз? Провал.
4. Количество уникальных посетителей.
Все это показывает вам, сколько людей увидели вашу домашнюю страницу. Это ничего не говорит вам о том, что они делали, почему они остались здесь или ушли.
5. Количество подписчиков/друзей/лайков.
Подсчет подписчиков и друзей - это не более чем соревнование в популярности, если только вы не сможете заставить их сделать что-то полезное для вас. Как только вы узнаете, сколько подписчиков выполнят вашу просьбу, у вас что-то получится.
6. Время нахождения на сайте/количество страниц.
Это плохая замена реальному взаимодействию или активности, если только ваш бизнес не связан с таким поведением. Если клиенты тратят много времени на ваши страницы поддержки или жалобы, это, вероятно, плохо.
7. Собранные электронные письма.
Большой список рассылки людей, в восторге от вашего нового стартапа, - это хорошо, но пока вы не узнаете, сколько из них будут открывать ваши электронные письма (и действовать в соответствии с тем, что в них содержится), это бесполезно. Отправьте тестовые электронные письма некоторым из ваших зарегистрированных подписчиков и посмотрите, будут ли они делать то, что вы им скажете.
8. Количество загрузок.
Хотя это иногда влияет на ваш рейтинг в магазинах приложений, сами по себе загрузки не приносят реальной пользы. Измеряйте количество активаций, создание учетной записи или что-то еще.
Исследовательские метрики в сравнении с отчетными
Авинаш Каушик, автор и евангелист по цифровому маркетингу в Google, говорит, что бывший министр обороны США Дональд Рамсфелд кое-что смыслил в аналитике.
Согласно Рамсфелду: "Есть известные вещи; есть вещи, которые мы знаем, которые мы знаем". Есть известные неизвестные; то есть есть вещи, которые, как мы теперь знаем, мы не знаем. Но есть также неизвестные неизвестные — есть вещи, которых мы не знаем, нам неведомо. На рисунке 2-1 показаны эти четыре вида информации.
Согласно Рамсфелду существует 4 вида знания:
1. "Известные известные вещи", про которые мы знаем, что знаем. Это факты, данные и информация, которыми мы располагаем и которые мы понимаем. Они могут быть ошибочны, но их можно проверить через данные.
2. "Известные неизвестные вещи", про которые мы знаем, что не знаем - это область отчетности - подсчет денег или пользователей. Мы не знаем значение метрики, поэтому идем выяснять. Можем использовать такого типа метрики для учета - сколько сегодня продали? результаты какого эксперимента выше и т.д. Во всех этих случаях метрика необходима.
3. "Неизвестные известные", про которые мы не знаем, что знаем. Это может включать в себя подсознательные убеждения или предвзятости, которые влияют на наше восприятие и принятие решений, но о которых мы можем не осознавать.
4. "Неизвестные неизвестные" - это то что мы не знаем, что не знаем. Это неожиданные или непредсказуемые события и информация, которые полностью выходят за рамки нашего понимания или осознания.
В этих “неизвестных неизвестных” и живет магия. Они ведут по множеству неверных путей и, надеюсь, приведут к какому-нибудь моменту “эврика!”, когда идея встанет на свои места. Это соответствует тому, что сказал Стив
Бланк говорит, что стартап должен тратить свое время на поиск масштабируемой, воспроизводимой бизнес-модели.
Аналитика призвана играть определенную роль во всех четырех квадрантах Рамсфелда:
- Она может проверять наши факты и предположения, такие как открытые ставки или коэффициенты конверсии, чтобы убедиться, что мы не обманываем сами себя, и проверить точность наших бизнес—планов.
- Это может проверить нашу интуицию, превратив гипотезы в доказательства.
- Она может предоставлять данные для наших электронных таблиц, каскадных диаграмм и заседаний правления.
- Это может помочь нам найти крупицу возможностей, на основе которых можно построить бизнес.
На ранних стадиях вашего стартапа "неизвестные" имеют наибольшее значение, потому что они могут стать вашим секретным оружием.
ПРИМЕР: "Circle of Moms" исследуют свой путь к успеху.
Идея Circle of Friends была проста: приложение для Facebook, которое позволяло вам объединять своих друзей в круги для обмена контентом.
Майк Гринфилд и его соучредители основали компанию в сентябре 2007 года, вскоре после того, как Facebook запустил свою платформу для разработчиков. Время было выбрано идеально: Facebook стал открытым, вирусным местом для максимально быстрого привлечения пользователей и создания стартапа. Никогда еще не было платформы с таким количеством пользователей, которая была бы настолько открытой (в то время у Facebook было около 50 миллионов пользователей).
К середине 2008 года у Circle of Friends было 10 миллионов пользователей. Майк сосредоточился на росте. “Это был захват земли”, - говорит он, и "Круг друзей" явно стал вирусным. Но тут возникла проблема. Слишком мало людей на самом деле пользовались этим продуктом. По словам Майка, менее 20% кругов проявляли какую-либо активность после их первоначального создания.
“У нас было несколько миллионов уникальных подписок в месяц от этих 10 миллионов пользователей, но как социальная сеть в целом, мы знали, что этого недостаточно, и монетизация, скорее всего, будет низкой”.
Итак, Майк начал копать. Он начал просматривать базу данных пользователей и то, что они делали. В то время у компании не было углубленной аналитической панели мониторинга, но Майк все еще мог провести некоторый предварительный анализ.
И он нашел сегмент пользователей — точнее, мам, — который преодолел тенденцию низкой вовлеченности большинства пользователей. Вот что он нашел:
- Их сообщения друг другу были в среднем на 50% длиннее.
- Они на 115% чаще прикрепляли фотографию к написанному ими сообщению.
- Они на 110% чаще вступали в многоплановый (т.е. глубокий) разговор.
- У них были друзья, которые после приглашения с вероятностью в 50% сами становились вовлеченными пользователями.
- Они на 75% чаще нажимали на уведомления Facebook.
- Они на 180% чаще нажимали на элементы новостной ленты Facebook.
- Они на 60% чаще принимали приглашения в приложение.
Цифры были настолько убедительными, что в июне 2008 года Майк и его команда полностью переключили внимание. А в октябре 2008 года они запустили Circle of Moms на Facebook.
Первоначально число пользователей сократилось в результате нового фокуса, но к 2009 году команда увеличила свое сообщество до 4,5 миллионов пользователей — и в отличие от пользователей, которые были потеряны из-за изменений, они были активно вовлечены. После этого компания пережила несколько взлетов и падений, поскольку Facebook ограничил возможности приложений по вирусному распространению. В конечном счете, компания отошла от Facebook, развивалась независимо и была продана Sugar Inc. в начале 2012 года.
Резюме
- Circle of Friends — это приложение для социальной графики, оказавшееся в нужном месте в нужное время - не на том рынке.
- Проанализировав модели вовлеченности и желаемого поведения, а затем выяснив, что общего у этих пользователей, компания нашла подходящий рынок для своего предложения.
- Как только компания нашла свою цель, она перефокусировалась — вплоть до смены названия. Разворачивайтесь изо всех сил или отправляйтесь домой и будьте готовы сжечь несколько мостов
Извлеченные уроки
Ключом к успеху Майка в Circle of Moms была его способность копаться в данных и искать значимые закономерности и возможности. Майк обнаружил “неизвестное неизвестное”, что привело к большому, пугающему, смелому пари - отказаться от обобщенного круга друзей, чтобы сосредоточиться на конкретной нише, которое было азартной игрой, но основывалось на данных.
Существует “критическая масса” вовлеченности, необходимая для того, чтобы любое сообщество заработало. Незначительный успех может не дать вам скорости убегания. В результате лучше активно взаимодействовать с меньшим по размеру и более легко охватываемым целевым рынком. Жизненная сила требует сосредоточенности.
Опережающие метрики против запаздывающих
Как опережающие, так и запаздывающие метрики полезны, но они служат разным целям.
Опережающая метрика (иногда называемая опережающим индикатором) пытается предсказать будущее. Например, текущее количество потенциальных клиентов в вашей воронке продаж дает вам представление о том, сколько новых клиентов вы приобретете в будущем. Если текущее количество потенциальных клиентов очень невелико, вы вряд ли добавите много новых клиентов. Вы можете увеличить количество потенциальных клиентов и ожидать увеличения числа новых клиентов.
С другой стороны, запаздывающая метрика, такая как отток (который представляет собой количество клиентов, которые уходят за определенный период времени), дает вам представление о наличии проблемы, но к тому времени, когда вы сможете собрать данные и определить проблему, будет уже слишком поздно.
Клиенты, которые ушли, больше не возвращаются. Это не значит, что вы не можете действовать в соответствии с запаздывающей метрикой (т.е. работать над улучшением оттока, а затем измерять его снова), но это сродни закрытию двери сарая после ухода лошадей. Новые лошади не уйдут, но вы уже потеряли нескольких.
В первые дни вашего стартапа у вас будет недостаточно данных, чтобы понять, как текущая метрика соотносится с другой в будущем, поэтому сначала измерьте запаздывающие метрики. Запаздывающие метрики по-прежнему полезны и могут обеспечить надежную базовую оценку производительности.
Чтобы опережающие индикаторы работали, вам необходимо уметь проводить когортный анализ и сравнивать группы клиентов за определенные периоды времени. Рассмотрим, например, объем жалоб клиентов.
Вы можете отслеживать количество звонков в службу поддержки, которые происходят за день, — как только у вас будет объем звонков, который сделает это полезным. Ранее вы могли отслеживать количество жалоб клиентов за 90-дневный период. И то, и другое может быть ведущей метрикой оттока:
- если количество жалоб растет, вполне вероятно, что все больше клиентов перестанут пользоваться вашим продуктом или услугой.
- в качестве опережающей метрики жалобы клиентов также дают вам возможность разобраться в том, что происходит, выяснить, почему клиенты жалуются чаще, и решить эти проблемы.
Теперь подумайте об аннулировании учетной записи или возврате товара. Обе метрики важны, но они измеряются постфактум. Они выявляют проблемы, но только после того, как становится слишком поздно предотвращать потерю клиента.
Отток важен (и мы подробно обсуждаем это на протяжении всей книги), но близорукий взгляд на это не позволит вам выполнять итерации и адаптироваться с нужной вам скоростью.
Метрики есть везде.
В компании, занимающейся корпоративным программным обеспечением, ежеквартальные заказы на новые продукты являются запаздывающим показателем успеха продаж. Напротив, новые квалифицированные клиенты являются опережающей метрикой, поскольку они позволяют вам заранее предсказать успех продаж.
Но, как скажет вам любой, кто когда-либо работал в сфере продаж В2В (от бизнеса к бизнесу), в дополнение к квалифицированным лидам вам необходимо хорошее понимание коэффициента конверсии и продолжительности цикла продаж. Только тогда вы сможете реалистично оценить, сколько нового бизнеса вы закажете.
В некоторых случаях отстающая метрика для одной группы внутри компании является ведущей для другой.
Например, мы знаем, что количество ежеквартальных бронирований является запаздывающим показателем для продавцов (контракты уже подписаны), но для финансового отдела, который сосредоточен на сборе платежей, это опережающий показатель ожидаемой выручки (поскольку выручка еще не выросла).
В конечном счете, вам нужно решить, помогает ли то, что вы отслеживаете, вам быстрее принимать правильные решения. Как мы уже говорили, реальная метрика должна быть действенной. Как запаздывающие, так и опережающие метрики могут быть действенными, но опережающие метрики показывают вам, что произойдет, сокращая время вашего цикла и делая вас более компактным.
Коррелированные и причинно-следственные метрики
В Канаде использование зимних шин коррелирует со снижением числа дорожно-транспортных происшествий. В холодную погоду люди ставят на свои автомобили более мягкие зимние шины, а летом происходит больше аварий.
Означает ли это, что мы должны заставить водителей использовать зимние шины круглый год? Почти наверняка нет — более мягкие шины плохо останавливаются на теплых летних дорогах, и количество аварий увеличится. Другие факторы, такие как количество часов за рулем и летние каникулы, вероятно, ответственны за рост аварийности.
Но рассмотрение простой корреляции без требования причинно-следственной связи приводит к некоторым неправильным решениям. Существует корреляция между потреблением мороженого и утоплением. Означает ли это, что мы должны запретить мороженое, чтобы предотвратить гибель людей от утопления? Или измерять потребление мороженого, чтобы предсказать динамику цен на акции похоронных бюро? Нет: и мороженое, и случаи утопления происходят из-за летней погоды.
Найти корреляцию между двумя показателями - это хорошо. Корреляции могут помочь вам предсказать, что произойдет. Но найти причину чего-либо означает, что вы можете это изменить. Обычно причинно-следственные связи - это не простые однозначные отношения. Многие факторы вступают в сговор, чтобы вызвать что-то.
В случае автомобильных аварий в летнее время мы должны учитывать потребление алкоголя, количество неопытных водителей на дороге, большее количество светового дня, летние каникулы и так далее. Таким образом, вы редко получите 100%-ную причинно-следственную связь. Вы получите несколько независимых показателей, каждый из которых “объясняет” часть поведения зависимой метрики.
Но даже некоторая степень причинно-следственной связи ценна. Вы доказываете причинно-следственную связь, находя корреляцию, затем проводите эксперимент, в котором контролируете другие переменные и измеряете разницу. Это трудно сделать, потому что нет двух одинаковых пользователей; часто невозможно подвергнуть статистически значимое число людей должным образом контролируемому эксперименту в реальном мире.
Если у вас достаточно большая выборка пользователей, вы можете запустить надежный тест, не контролируя все остальные переменные, потому что в конечном итоге влияние других переменных относительно невелико.
Вот почему Google может тестировать такие тонкие факторы, как цвет гиперссылки, и почему Microsoft точно знает, как влияет замедление загрузки страницы на показатели поиска. Но для среднестатистического стартапа вам нужно будет запустить более простые тесты, которые экспериментируют всего с несколькими вещами, а затем сравнить, как это изменило бизнес. Вскоре мы рассмотрим различные виды тестирования и сегментации, но пока признайте следующее: корреляция хорошая. Причинно-следственная связь велика. Иногда вам, возможно, придется довольствоваться первым, но вы всегда должны пытаться открыть для себя второе.
Движущиеся цели
Выбирая цель на ранней стадии, вы проводите черту на песке, а не высекаете ее на камне. Вы преследуете движущуюся цель, потому что на самом деле не знаете, как определить успех.
Корректировка ваших целей и того, как вы определяете свои ключевые метрики, приемлема при условии, что вы честны с самим собой, осознаете изменения, которые это означает для вашего бизнеса, а не просто снижаете ожидания, чтобы продолжать работать, несмотря на очевидные факты.
Когда ваше первоначальное предложение — ваш минимально жизнеспособный продукт — появится на рынке, и вы начнете привлекать клиентов-первопроходцев и тестировать их использование вашего продукта, вы даже не будете знать, как они собираются его использовать (хотя у вас будут предположения).
Иногда существует огромная пропасть между тем, что вы предполагаете, и тем, что пользователи делают на самом деле. Вы можете подумать, что люди будут играть в вашу многопользовательскую игру только для того, чтобы обнаружить, что они используют вас как сервис для загрузки фотографий. Маловероятно? Вот так и появился Flickr.
Однако иногда различия более тонкие. Вы можете предположить, что ваш продукт должен использоваться ежедневно, чтобы добиться успеха, но обнаружите, что это не так. В таких ситуациях разумно соответствующим образом обновить свои показатели, при условии, что вы сможете доказать созданную ценность.
ПРИМЕР: HighScore House дает определение "активного пользователя"
HighScore House начинался как простое приложение, которое позволяло родителям перечислять домашние дела и задачи для своих детей с указанием значений баллов. Дети могли выполнять задания, набирать баллы и обменивать их на желаемые награды.
Когда HighScore House запустила свой MVP, у компании было несколько сотен семей, готовых протестировать его. Основатели провели черту на песке: для того, чтобы MVP считался успешным, родители и дети должны были пользоваться приложением четыре раза в неделю. Эти семьи будут считаться “активными”.
Это была высокая, но хорошая планка. Примерно через месяц процент активных семей оказался ниже этой линии на песке. Основатели были разочарованы, но полны решимости продолжать эксперименты в попытке улучшить взаимодействие:
- Они изменили процедуру регистрации (сделав ее более понятной и познавательной, чтобы повысить качество регистрации и улучшить процесс адаптации).
- Они отправляли уведомления по электронной почте в качестве ежедневных напоминаний родителям.
- Они отправляли родителям электронные письма о транзакциях, основанные на действиях, которые их дети совершали в системе.
Каждый раз происходило постепенное улучшение, но ничто из того, что двигало стрелку достаточно значительно, чтобы сказать, что MVP был успешным.
Затем соучредитель и генеральный директор Кайл Симан сделал нечто важное: он поднял телефонную трубку. Кайл поговорил с десятками родителей. Он начал обзванивать родителей, которые зарегистрировались, но не были активны.
Сначала он обратился к тем, кто полностью покинул HighScore House. Для многих из них приложение не решало достаточно серьезную проблему. Это прекрасно. Основатели никогда не предполагали, что рынок состоит из “всех родителей” — это слишком широкое определение, особенно для первой версии продукта. Кайл искал меньшую подгруппу семей, где HighScore House нашел бы отклик, чтобы сузить сегмент рынка и сфокусироваться.
Затем Кайл позвонил тем семьям, которые использовали HighScore House, но недостаточно, чтобы считаться активными. Многие из этих семей ответили положительно: “Мы используем HighScore House. Это великолепно. Впервые в жизни дети постоянно заправляют свои кровати!”
Реакция родителей была неожиданной. Многие из них пользовались HighScore House всего один или два раза в неделю, но они извлекали пользу из продукта.
Из этого Кайл узнал о сегментации и о том, какие типы семей были более или менее заинтересованы в том, что предлагала компания. Он начал понимать, что первоначальные базовые показатели использования, установленные командой, не соответствовали тому, насколько вовлеченные клиенты использовали продукт. Это не значит, что команда не должна была сделать предположение. Без этой начальной линии на песке у них не было бы ориентира для обучения, и Кайл, возможно, не поднял бы трубку. Но теперь он по-настоящему понимал своих клиентов.
Ключевым моментом было сочетание количественных и качественных данных. В результате этого обучения команда пересмотрела пороговое значение “активный пользователь”, чтобы более точно отражать поведение существующих пользователей. Для них было нормально скорректировать ключевой показатель, потому что они действительно понимали, зачем они это делают, и могли обосновать изменение.
Резюме
HighScore House рано провел смелую черту на песке, за которую не смог зацепиться.
- Команда быстро поэкспериментировала, чтобы увеличить количество активных пользователей, но не смогла достаточно сдвинуть стрелку.
- Они подняли телефонную трубку и поговорили с клиентами, понимая, что создают ценность для сегмента пользователей с более низкими показателями использования.
Извлеченные уроки аналитики
Во-первых, знайте своего клиента. Ничто не заменит непосредственного взаимодействия с клиентами и пользователями. Все цифры в мире не могут объяснить, почему что-то происходит. Поднимите трубку прямо сейчас и позвоните клиенту, даже тому, кто не занят.
Во-вторых, делайте предварительные предположения и устанавливайте цели в отношении того, как, по вашему мнению, выглядит успех, но не доводите себя до забвения экспериментами. Снизьте планку, если необходимо, но не ради того, чтобы преодолеть ее: это просто мошенничество. Используйте качественные данные, чтобы понять, какую ценность вы создаете, и корректируйте только в том случае, если новая линейка на песке отражает то, как клиенты (в определенных сегментах) используют ваш продукт.
Сегменты, когорты, A/B-тестирование и многомерный анализ
Тестирование лежит в основе бережливой аналитики. Тестирование обычно включает в себя сравнение двух объектов друг с другом с помощью сегментации, когортного анализа или A/ B-тестирования. Это важные концепции для любого, кто пытается провести научное сравнение, необходимое для обоснования изменений, поэтому мы объясним их здесь более подробно.
Сегментация
Сегмент - это просто группа, имеющая некоторую общую характеристику. Это могут быть пользователи, которые запускают Firefox, или посетители, которые заказывают столик он-лайн, а не приходят в ресторан, или пассажиры, которые покупают билеты первого класса, или родители, которые водят микроавтобусы.
На веб-сайтах вы сегментируете посетителей в соответствии с целым рядом технической и демографической информации, а затем сравниваете один сегмент с другим. Если посетители, использующие браузер Firefox, совершают значительно меньше покупок, проведите дополнительное тестирование, чтобы выяснить причину.
Если непропорционально большое количество вовлеченных пользователей пришло из Австралии, опросите их, чтобы выяснить почему, а затем попытайтесь повторить этот успех на других рынках. Сегментация работает для любой отрасли и любой формы маркетинга, а не только для веб-сайтов. Маркетологи прямой почтовой рассылки десятилетиями с большим успехом занимались сегментированием.
Когортный анализ
Вторым видом анализа, который сравнивает сходные группы с течением времени, является когортный анализ. По мере создания и тестирования вашего продукта вы будете двигаться итерациями.
Пользователи, которые присоединятся к вам в первую неделю, будут иметь опыт, отличный от тех, кто присоединится позже. Например, все ваши пользователи могут пройти начальную бесплатную пробную версию, цикл использования, оплаты и отказа от использования. Когда это произойдет, вы внесете изменения в свою бизнес-модель. Пользователи, которые прошли пробную версию в течение первого месяца, будут иметь опыт адаптации, отличный от тех, кто прошел ее в течение пятого месяца. Как это повлияло на их отток? Чтобы выяснить это, мы используем когортный анализ.
Каждая группа пользователей представляет собой когорту — участников эксперимента на протяжении всего их жизненного цикла. Вы можете сравнить когорты друг с другом, чтобы увидеть, улучшаются ли в целом ключевые показатели с течением времени. Вот пример того, почему когортный анализ имеет решающее значение для стартапов.
Представьте, что вы управляете интернет-магазином. Каждый месяц вы приобретаете тысячу новых клиентов, и они тратят немного денег. В таблице ниже показаны средние доходы ваших клиентов за первые пять месяцев работы бизнеса.
Из этой таблицы вы мало что сможете узнать. Становится ли все лучше или хуже? Поскольку вы не сравниваете недавних клиентов со старыми — и поскольку вы объединяете покупки клиента, который работает уже пять месяцев, с покупками совершенно нового клиента, — трудно сказать наверняка. Все эти данные свидетельствуют о небольшом падении доходов, а затем о восстановлении. Но средний доход довольно статичен.
Теперь рассмотрим те же данные с разбивкой по месяцам, в которых эта группа клиентов начала пользоваться сайтом. Как видно из таблицы ниже, происходит нечто важное. Клиенты, пришедшие в пятый месяц, тратят в среднем 9 долларов в первый месяц — почти вдвое больше, чем те, кто пришел в первый месяц. Это огромный рост!
Другой способ понять когорты — выстроить данные в соответствии с опытом пользователей - в случае с предыдущими таблицами мы сделали это по количеству месяцев, в течение которых они пользовались системой. Это показывает еще один важный показатель: насколько быстро снижается выручка после первого месяца.
Когортный анализ представляет гораздо более ясную перспективу. В этом примере слабая монетизация в первые месяцы ухудшила общее состояние показателей. Январская когорта — первый ряд — потратила 5 долларов в первый месяц, затем сократилась всего до 0,50 доллара в пятый месяц.
Но расходы за первый месяц резко растут, и падение тоже выглядит лучше: апрельская когорта потратила 8 долларов в первый месяц и 7 долларов во второй. Компания, которая, казалось, зашла в тупик, на самом деле процветает. И вы знаете, на какой показатель следует обратить внимание: падение продаж после первого месяца.
Такой вид отчетности позволяет вам четко видеть закономерности в жизненном цикле клиента, вместо того чтобы слепо анализировать всех клиентов без учета естественного цикла, через который проходит клиент. Когортный анализ может быть проведен по доходам, оттоку, распространению информации из уст в уста, затратам на поддержку или любым другим показателям, которые вас интересуют.
A/B и многофакторное тестирование
Когортные эксперименты, в которых сравниваются группы, подобные приведенным в таблице выше, называются лонгитюдными исследованиями, поскольку данные собираются на протяжении естественной продолжительности жизни группы клиентов.
Напротив, исследования, в которых разным группам испытуемых одновременно дается различный опыт, называются перекрестными исследованиями. Показ половине посетителей синей ссылки, а половине - зеленой, чтобы увидеть, какая группа с большей вероятностью перейдет по этой ссылке, является перекрестным исследованием.
Когда мы сравниваем один атрибут опыта испытуемого, такой как цвет ссылки, и предполагаем, что все остальное одинаково, мы проводим A/ B тестирование.
Вы можете протестировать все, что касается вашего продукта, но лучше всего сосредоточиться на важнейших шагах и предположениях. Результаты могут значительно окупиться:
Джей Пармар, соучредитель краудфандингового сайта по продаже билетов Picatic, рассказал нам, что простое изменение призыва компании к действию с “Начните бесплатно” на “Попробуйте бесплатно” увеличило количество людей, которые нажали на предложение, (переход по ссылке)— на 376% за 10-дневный период.
A / B тесты кажутся относительно простыми, но в них есть проблема. Если вы не являетесь крупным веб—ресурсом, таким как Bing или Google, с достаточным трафиком, чтобы провести тест по одному фактору, такому как цвет ссылки или скорость страницы, и быстро получить ответ, у вас будет больше задач для тестирования, чем трафика.
Возможно, вы захотите протестировать цвет веб-страницы, текст в призыве к действию и картинку, которую вы показываете посетителям. Вместо того чтобы выполнять серию отдельных тестов один за другим, что затянет ваш цикл обучения, вы можете проанализировать их все сразу, используя технику, называемую многофакторным анализом. Это основано на статистическом анализе результатов, чтобы увидеть, какой из многих факторов сильно коррелирует с улучшением ключевого показателя. На рисунке ниже показаны эти четыре способа разделения пользователей на подгруппы и их анализа или тестирования.
Цикл бережливой аналитики
Большая часть бережливой аналитики заключается в поиске значимой метрики, а затем проведении экспериментов по ее улучшению до тех пор, пока эта метрика не станет достаточно хорошей для перехода к следующей проблеме или следующему этапу вашего бизнеса.
В конце концов, вы найдете бизнес-модель, которая является устойчивой, воспроизводимой и растущей, и научитесь ее масштабировать.
В этой главе мы подробно рассмотрели вопросы, связанные с метриками и аналитикой, и на данный момент ваша голова может быть немного забита.
Вы узнали:
- Из чего состоит хорошая метрика
- Что такое метрики тщеславия и как их избежать
- В чем разница между качественными и количественными метриками, между исследовательскими метриками и отчетными метриками, между опережающими и запаздывающими метриками, а также между коррелированными и причинно-следственными метриками
- Что такое A / B тестирование и многомерное тестирование
- Разница между сегментами и когортами
В следующих главах вы примените все эти измерения для работы с различными бизнес-моделями и стадиями роста стартапов.
Оценка метрик, которые вы отслеживаете
Взгляните на три-пять основных метрик, которые вы отслеживаете неукоснительно и просматриваете ежедневно. Запишите их. Теперь ответьте на следующие вопросы о них:
- Сколько из этих показателей являются хорошими?
- Сколько из них вы используете для принятия бизнес-решений, а сколько - просто показатели тщеславия?
- Можете ли вы исключить все, что не добавляет ценности?
- Есть ли другие, о которых вы сейчас думаете, которые могут быть более значимыми?
Вычеркните плохие и добавьте новые в конец вашего списка, и давайте продолжим читать книгу.