Кривая истинности: Выберите правильные эксперименты и тесты
Язык сложен. Мы часто сталкиваемся с тем, что люди пытаются объяснить значение слов "предположение" и "гипотеза" и особенно разницу между ними. В некоторых языках просто не хватает отдельных слов, чтобы указать на тонкую разницу между ними. Во многих организациях эти понятия пришли из космоса. Когда мы говорим о предположениях, мы имеем в виду то, что неявно считаем истинным. Предположение - это то, что принимается как истинное или как неизбежное событие, не имея для этого доказательств.
Это может быть что угодно - от ожидаемого поведения клиентов до характеристик продукта, оптимальной ценовой стратегии, цвета продукта, его интерфейса, времени, затраченного людьми на использование продукта, и так далее.
Когда вы начнете думать об этом, вы, скорее всего, обнаружите, что ваш продукт содержит много допущений. Некоторые из них легче, чем другие, поддаются проверке и основаны на здравом смысле или общем признании. Таким образом, не все предположения нуждаются в проверке. Некоторые допущения практически не несут риска или предлагают низкую ценность в случае подтверждения. Итак, зачем рассматривать эти допущения?
Некоторые предположения обладают высокой ценностью и небольшим риском; это те, которые вы можете просто построить. Другая группа содержит допущения с высокой стоимостью и высоким риском. Именно эти допущения следует тщательно протестировать, поскольку они могут оказать существенное влияние на продукт. Чтобы подтвердить предположения, вы можете сформулировать гипотезу.
Гипотеза может быть определена как предположение или предлагаемое объяснение, сделанное на основе ограниченных доказательств в качестве отправной точки для дальнейшего исследования. Гипотеза формирует основу для рассуждения, заявляя, что именно мы предполагаем. Это дает простор для обсуждения того, как будут проверяться предположения, сколько, вероятно, будет стоить это тестирование и как будет определяться успех.
Гипотезы обычно определяются в изложении гипотезы, что означает, что гипотеза является явной и может быть передана и обсуждена.
Что общего у Google Glass, Apple Newton, парфюмерии Harley-Davidson и Ford Edsel? Что ж, все они были построены с большим количеством предположений и в конечном счете потерпели неудачу. Итак, как мы можем избежать траты больших денег на создание чего-то, что никому не нужно? Что ж, на помощь приходит так называемая кривая истинности! Гифф Констебл создал модель кривой истинности для конференции по разработке программного обеспечения Qcon еще в 2013 году. Это полезная модель для осознанных (временных и/или денежных) инвестиций в разработку продукта.
Давайте начнем с идеи, потому что все замечательные продукты начинаются с идеи, которая обычно содержит массу предположений. Давайте посмотрим, как может помочь модель кривой истинности (см. рис. 17.1).
Ось X отражает уровень сложности вашего продукта, или, скорее, то, сколько времени и денег вы тратите на разработку продукта. Для увеличения продукта с течением времени можно проводить различные эксперименты, работы, создавать минимально жизнеспособные продукты (MVP) и другие мероприятия. Чем ближе вы находитесь к левой части графика, тем меньше усилий потребуют эти действия. Например, проведение собеседования или наблюдений занимает от нескольких часов до нескольких дней. При перемещении в правую часть графика, например, при создании MVP Wizard of Oz или продукта, готового к производству, затраты будут исчисляться неделями, месяцами или годами. Работая над новым продуктом, вы захотите быстро освоиться. Если вы не учитесь быстро, возможно, вы живете в стране фантазий, и большинство вещей, которые вы делаете, следует рассматривать как предположения с хорошей долей скептицизма.
Ось Y иллюстрирует объем собранных доказательств. Ось Y показывает, насколько вы можете верить своим знаниям, учитывая, что они, вероятно, отфильтрованы через ваше суждение и видение. Единственный способ точно знать, что продукт станет успешным, - это вывести его на рынок и измерить соответствующие показатели продукта. Конечно, вам все еще нужны качественные исследования, чтобы понять, почему что-то происходит, но количественные показатели отражают реальность.
Чтобы быстро освоиться и пройти валидацию, вы могли бы начать с качественного развития клиентов, проведя легкие эксперименты, такие как тесты бумажных прототипов, целевых страниц, предварительных продаж, MVP консьержа или тесты "Волшебника страны Оз". Мы объясним это позже. А пока просто не забудьте начать с экспериментов с минимальными усилиями.
Различные типы экспериментов также обеспечивают разный уровень правдоподобия. Другими словами, они дают разные уровни доказательств о продукте. Чем более эмпирическим является тест (например, наблюдение за поведением клиента во время ознакомления с продуктом), тем больше доверия к достоверности и репрезентативности результатов. И наоборот, чем раньше (чем левее) ваш продукт находится на кривой истинности, тем больше вам нужно будет отфильтровать наблюдений и полученных знаний, прежде чем делать выводы.
Возможно, вы заметили, что некоторые из ранних тестов в левой части графика сосредоточены не столько на том, как создать продукт, сколько на определении того, следует ли вообще создавать продукт. Другими словами, левая сторона фокусируется на проблемном пространстве и проверке проблемы. Правая сторона фокусируется на пространстве продукта и проверке соответствия продукта рынку. Другая перспектива, которую следует учитывать, заключается в том, что проведение экспериментов поможет вам проверить предположения, лежащие в основе 5 пунктов, которые делают продукт жизнеспособным. (Помните? 5 пунктов - это проблема, распространенность, позиционирование, оплата и возможность.) После того как вы проверите 5 пунктов с помощью различных экспериментов, вы, возможно, захотите двигаться дальше и узнать, как создать продукт и сколько технологий требуется.
Мэтью Годфри представил другую перспективу для кривой истинности (см. рис. 17.2): он создал альтернативную шкалу для оси Y. С этой точки зрения возникает вопрос: сколько вы готовы поставить на успех своего продукта? Готовы ли вы поставить на это сегодняшний обед? Как насчет дневной зарплаты? Вашей машины? Или, возможно, дома? Насколько вы уверены? Итак, в следующий раз, когда вы будете “играть в азартные игры” на деньги компании, задайте себе эти вопросы. И начните больше думать о том, чтобы делать маленькие ставки вместо крупных, потому что некоторые из них вы наверняка проиграете.
Объяснение методов экспериментирования
Существует множество замечательных ресурсов, посвященных экспериментам и оценке результатов. В этой книге мы рассмотрим семь различных типов экспериментов, которые вы, возможно, захотите попробовать. Это должно помочь вам узнать о них достаточно, чтобы хорошо начать, и в то же время оставить достаточно места для более глубокого изучения, используя более специализированные ресурсы. Мы считаем особенно ценным наличие в ваших командах людей с сильными навыками работы с пользовательским опытом (UX). Обычно они обладают большими знаниями и опытом в области экспериментов, чем мы, менеджеры по продуктам, и это также позволяет вам делегировать работу, связанную с проведением экспериментов, вашим командам. Если у вас в компании нет специалистов по UX, то вам, вероятно, придется выполнять часть этой работы в качестве специалиста по продукту. Не откладывая в долгий ящик, давайте более подробно рассмотрим следующие методы проведения экспериментов:
- Бумажный прототип
- Страница предварительного заказа
- Видео с пояснениями
- Целевые страницы
- Фейк с изображением
- Консьерж MVP
- Волшебник страны Оз
Техника 1: Создание бумажного прототипа
Бумажное прототипирование позволяет быстро и с минимальными затратами создавать, использовать и тестировать возможные проекты или решения. Продукт или пользовательский интерфейс набрасывается с помощью нескольких листов бумаги и маркера, как показано на рисунке 17.3. Потенциальные клиенты могут взаимодействовать с продуктом, “нажимая” на бумажные изображения кнопок, пунктов меню и так далее. В зависимости от их взаимодействия им выдается следующий лист бумаги, представляющий следующий шаг процесса (например, следующий экран в пользовательском интерфейсе).
Такие вопросы, как: "Что вам особенно нравится? Что бы вы сделали на этом экране? и чего еще вы ожидали бы? может выявить предположения, которые были сделаны относительно продукта и его дизайна, без необходимости создавать необычную, полнофункциональную версию продукта. Бумажное прототипирование идеально подходит для тестирования работы приложения, а также взаимодействия с продуктом и откликов на него.
Способ 2: Страница предварительного заказа
Страница предварительного заказа, как показано на рисунке 17.4, позволяет людям зарегистрироваться на продукт или услугу до их официального или публичного запуска, позволяя компаниям оценить интерес потенциальных клиентов. Используя страницы предварительного заказа, вы можете проверить, смогут ли клиенты найти ваш продукт, распознав проблему, которую он призван решить, и достаточно ли они заинтересованы, чтобы заказать продукт еще до его запуска.
В 2019 году Tesla представила новую модель автомобиля и получила более 150 000 предварительных заказов. Многие люди вносили депозиты, чтобы заполучить в свои руки один из первых выпускаемых автомобилей. Это отличный способ проверить желательность нового продукта. Эта концепция также широко распространена в игровой индустрии. Крупные компании, такие как Ubisoft, Electronic Arts, Microsoft и Sony, анонсируют свои новые продукты за несколько месяцев до запуска и позволяют людям делать предварительный заказ своих новых игр и консолей.
Техника 3: Видео-пояснения
Видеоролики-пояснения - это экспериментальный метод, с помощью которого компания объясняет, как работает продукт или услуга (см. рис. 17.5). Продукт не обязательно должен быть полностью работоспособным на момент выхода видео. Хорошо известной компанией, которая эффективно использовала видео-пояснения, является Dropbox, сервис обмена файлами, который мы все знаем и любим. На заре существования Dropbox компании не всегда было так просто найти клиентов и инвесторов.
Различные способы обмена файлами на разных компьютерах и с другими людьми уже существовали, когда был основан Dropbox. Например, были популярны FTP-сервисы, хотя они часто повреждали ваши файлы, если вы забывали установить флаг bin. Другой альтернативой был Microsoft SharePoint, но в то время он функционировал не очень хорошо. Итак, было несколько вариантов, и многие люди приняли статус-кво. Файлообмен был сложным продуктом.
Поэтому Dropbox опубликовал на YouTube пояснительное видео, в котором основатель компании Дрю Хьюстон объяснил продукт новым пользователям. Он показал, как легко установить и настроить продукт, а также синхронизировать файлы, и люди сразу же подключились. Видеоролик с объяснениями Dropbox показал, насколько волшебным был опыт работы с Dropbox и как пользователь мог мгновенно внести изменения на одном компьютере, а затем увидеть их отражение непосредственно в Интернете. Список ожидающих бета-тестирования продукта Dropbox за одну ночь вырос с 5000 до 75 000 человек.
Техника 4: Лэндинги
Эксперимент с лэндингами можно рассматривать как простой одностраничник для вашего продукта (идеи). Страница содержит обзор проблемы, которую необходимо решить, уникальное ценностное предложение продукта, возможно, различные ключевые функции, призыв к действию и механизм конверсии. Пример целевой страницы показан на рисунке 17.6.
Как обсуждалось ранее, страницы предварительного заказа используются в основном для продажи товара. С другой стороны, целевые страницы часто используются для тестирования и подтверждения интереса к рынку. Целевые страницы также можно использовать в качестве страниц предварительного заказа, но в цифровом маркетинге целевая страница часто используется как отдельная веб-страница, позволяющая компании выстроить маркетинговую воронку потенциальных клиентов. Он часто создается специально для маркетинговой или рекламной кампании. Целевая страница часто является местом, куда “попадает” посетитель, если он нажимает на ссылку в электронном письме или на рекламу в Интернете.
Например, если ваш продукт является обучающим, то наличие целевой страницы могло бы обеспечить высокоуровневый обзор обучения. Он также может содержать ссылки на дополнительную информацию по теме, такую как блоги, вебинары, видео и аудиоподкасты. Мы использовали этот тип эксперимента в 2019 году, когда запустили профессиональный курс Scrum Product Owner-Advanced. Это был простой одностраничный веб-сайт, содержащий информацию о курсе, брошюру, даты предстоящего обучения и короткое видео. Это позволило нам оценить интерес к рынку и найти первых пользователей обучающего продукта.
Техника 5: Изобразите подделку
Эксперименты с поддельными функциями, также известные как “тестирование поддельных дверей” (см. рис. 17.7), создают у пользователей иллюзию наличия функции для проверки интереса клиентов до того, как функция будет фактически разработана. Пользователи нажимают на кнопку или ссылку, но ссылка ведет в тупик. Нажать на поддельную функцию - все равно что открыть дверь и обнаружить с другой стороны просто стену. Техника подделки функций - это простой эксперимент для проверки идей. Она часто используется в существующих продуктах или услугах.
Bank of America, например, использовал этот метод, чтобы проверить, будут ли клиенты использовать его мобильное приложение для сообщения о потерянных кредитных картах. Компания добавила ссылку “Сообщить о потере вашей кредитной карты” в свое мобильное приложение. Когда пользователи переходили по ссылке, они получали всплывающее окно с объяснением того, что сообщить о потере кредитной карты через приложение пока невозможно. Вместо этого они могли бы нажать на номер телефона во всплывающем окне, чтобы напрямую связаться со службой поддержки клиентов. К счастью, эта поддельная функция упростила клиентам обращение в банк, и Bank of America смог собрать данные, чтобы узнать, как часто эта функция будет использоваться и стоит ли расширять ее до полноценного использования в приложении.
Конечно, вы же не хотите, чтобы ваш продукт был полон подделок функций — это сделало бы его использование очень раздражающим. Но начинать с малого и тестировать идеи таким образом может быть очень полезно. Когда вы начнете использовать подделки функций, обязательно отслеживайте использование, а также собирайте и анализируйте данные. И не отправляйте своих пользователей в погоню за дикими гусями — предоставьте им выход (как это сделал Bank of America, указав номер телефона во всплывающем окне).
Когда мы разрабатывали новую платформу электронной коммерции для клиента, мы обнаружили, что не можем внедрить все способы оплаты одновременно. Нам нужно было принять решения о том, что строить сейчас, а что позже. Мы решили имитировать возможность оплаты кредитной картой, но вместо этого предложили клиентам несколько альтернативных способов оплаты. В платформе мы отслеживали, как часто нажимались и использовались различные способы оплаты, поэтому мы смогли представить фактические данные об использовании и стоимость корзины пропущенных заказов во время следующего спринтерского обзора. Отслеживание этих данных позволило нам измерить интерес к альтернативным способам оплаты и выразить их ценность в деньгах при принятии решения о следующих шагах.
Техника 6: MVP консьержа
Эксперимент с MVP concierge (см. рис. 17.8) предполагает ручную помощь вашим пользователям в достижении их целей. Это экспериментальный метод, используемый для проверки того, нужно ли пользователям то или иное предложение. Все функции в concierge MVP выполняются вручную. В этом эксперименте вы не создаете продукт, а скорее имитируете его с помощью человеческого взаимодействия и человеческой поддержки.
Хорошо известный пример этой техники был использован в первые дни существования компании под названием Food on the Table. Эта компания, основанная Мануэлем Россо, поставляет продукт, специализирующийся на составлении списка покупок с учетом потребностей и предпочтений конкретного человека. Когда компания была основана, у Мануэля даже не было продукта или веб-сайта. Он только что лично продавал свои услуги покупателям за 10 долларов в месяц. Благодаря этому взаимодействию он создавал рецепты и списки продуктов для своих клиентов, сопровождая их по магазину.
Обратите внимание, что вся работа, выполняемая в этом примере, является ручным трудом. В этом эксперименте нет продукта или автоматизации работы. Итак, недостатком этого эксперимента, очевидно, является то, что он не очень хорошо масштабируется. В какой-то момент продукт все равно нужно будет создать, чтобы сделать его более масштабируемым, эффективным и результативным. Тем не менее, это отличный метод экспериментирования, позволяющий многому научиться перед созданием продукта. Кроме того, поскольку консьерж-сервис - это персональная услуга, предоставляемая частным лицом, на результаты эксперимента может повлиять привлекательность консьержа.
Некоторые большие преимущества заключаются в том, что у вас есть прямое взаимодействие с вашими (потенциальными) клиентами и пользователями. Мануэль, например, многое узнал о том, как его сервис составления списков покупок может учитывать аллергию, диетические предпочтения и цели в области здоровья, создавая списки и делясь ими лично с покупателями. Еще одно преимущество заключается в том, что вы можете отложить трату больших денег на создание продукта до тех пор, пока не проведете надлежащую проверку проблемы, рынка и продукта.
Техника 7: Волшебник страны Оз
Если вы еще не видели фильм "Волшебник страны Оз", это ваш спойлер! Оказывается, волшебник - это старик, который дергает за рычаги за занавеской, а большая страшная зеленая голова - всего лишь иллюзия.
Подобно иллюзии из фильма, MVP "Волшебник страны Оз" создает впечатление, что снаружи ваш продукт или услуга полностью функционируют. Клиенты и пользователи не будут знать или испытывать на себе, что большая часть работы в подсобном помещении выполняется вручную, людьми. Эксперименты "Волшебника страны Оз" помогут вам узнать, как наилучшим образом предоставлять услугу, не создавая большую ее часть.
Классический пример "Волшебника страны Оз" можно найти в Zappos (см. рис. 17.9). Несмотря на то, что в 2009 году Zappos была приобретена Amazon за 1,2 миллиарда долларов, она начинала совсем на другом уровне. Основатель компании Ник Суинмурн решил проверить свое предположение о том, что люди захотят покупать обувь онлайн, не примеряя ее предварительно. Чтобы проверить эту идею, он посетил различные местные обувные магазины, сфотографировал их обувь, а затем разместил рекламу в Интернете. Как только люди заказывали пару обуви через его веб-сайт, Суинмурн возвращался в магазин, где фотографировал обувь, покупал ее, а затем отправлял своим клиентам. Однако клиенты понятия не имели, что у Swinmurn не было на складе ни одной пары обуви или что все заказы обрабатывались вручную.
Со стороны этот MVP выглядел как полностью функциональная система, но все задачи, которые должны были выполнять автоматизированные системы, выполнялись человеком. У подхода "Волшебник Изумрудного города" есть несколько преимуществ. Гораздо дешевле имитировать функционирующую систему, платя людям за выполнение работы за кулисами, чем создавать полностью функционирующую систему. Кроме того, можно быстрее узнать, как должна вести себя система. Недостатком этого эксперимента является то, что он требует, чтобы люди выполняли работу за кулисами. Это может оказаться более дорогостоящим в краткосрочной перспективе и не очень масштабируемым, но это отличный способ проверки идей о продуктах и услугах.