Эксперименты и проверка идей и предположений важны. Однако существует риск зайти слишком далеко. В некоторых командах, не успеешь оглянуться, как все превращается в эксперимент. Простое проведение нескольких экспериментов не создает ценности. Превращать все в эксперимент может быть так же плохо, как просто строить все и надеяться на лучшее. Итак, есть пара вещей, которые следует учитывать перед началом эксперимента, чтобы вы могли извлечь из него уроки.
Эрик Райс ввел термин "учет инноваций", чтобы объяснить, что проведение экспериментов - это не только выполнение работы, но и учет ее результатов. Владельцы продукта несут ответственность за максимизацию ценности. Эксперименты могут помочь вам создать ценность, устраняя риск. Итак, почему бы вам заранее не определить, какой именно риск вы пытаетесь снизить, и почему бы вам не отслеживать, что вы снизили и чему научились на данный момент?
Определяющая гипотеза
Strategyzer - компания, специализирующаяся на обучении и консалтинге, особенно в области бизнес-моделирования, разработки ценностных предложений и тестирования бизнес-идей. Она создала удобный шаблон, отражающий суть эксперимента или теста. Хотя существуют и другие доступные инструменты, шаблоны и методики, мы считаем тестовую карточку ценным инструментом.
Гипотезы, подобные тестовой карточке Strategyzer (см. рис. 18.1), часто начинаются с предположения, чего-то, во что вы верите как в истину. Это убеждение должно охватывать определенную личность или целевую аудиторию, которая будет демонстрировать определенное поведение и давать конкретные результаты. Обратите внимание, что поведение обычно можно наблюдать и, следовательно, его можно измерить и подсчитать.
Таким образом, типичное описание на шаге 1 тестовой карты
выглядит примерно так:
Мы верим, что <персона> будет <демонстрировать определенное поведение>, чтобы достичь <причины/потребности>.
Шаг 2 в тестовой карточке описывает эксперимент, который необходимо провести. Исходя из вашей гипотезы и убеждений, вы захотите провести конкретный эксперимент.
Этот эксперимент может быть практически любым, но для начала подумайте о различных методах проведения экспериментов, перечисленных в главе 17 “Выбор продуктов для проведения экспериментов”. Выбирая правильный эксперимент, вспомните кривую истинности, рассмотренную в той же главе. Вы захотите выбрать эксперимент, который соответствует вашему текущему уровню доказательности. Другими словами, будьте осторожны при создании минимально жизнеспособных продуктов (MVP), если вы еще не обнаружили соответствия задаче, что можно сделать, поговорив с клиентами или понаблюдав за ними.
Третий шаг - измерение успешности эксперимента. Мы не хотим проводить эксперименты, не извлекая из них уроков. Эксперименты и тесты используются для обучения! Итак, обязательно опишите, как вы будете измерять успех, перечислив от одного до трех действенных показателей.
Шаг 4 заключается в установлении целевых показателей, определенных на шаге 3. Если вы проводите эксперимент, результатом которого должен стать более высокий показатель переходов, простого заявления о том, что вы хотите больше кликов, недостаточно. Вы хотите еще десять кликов? Вам нужно увеличить количество кликов на 10%? Вам нужно удвоить текущую посещаемость? Какова цель? Без таких критериев эксперименты просто измеряют, произойдет ли что-то, а поскольку вы проводите эксперимент, что-то всегда происходит.
При разработке тестов и экспериментов мы рекомендуем вам делать это сообща. Работайте со своими командами и привлекайте заинтересованные стороны. Возможно, сначала попросите каждого написать тестовую карту или утверждение гипотезы самостоятельно. Затем сравните их, обсудите и учитесь друг у друга. Есть ли какие-либо интересные различия? Отлично! Представьте, что произошло бы, если бы команда начала работать над этим экспериментом, имея разные предположения. Тестовые карточки - отличное начало разговора, потому что при совместном создании они раскрывают скрытые предположения. Это также делает эксперименты более осязаемыми, потому что мы записываем некоторые идеи вместе. Используйте их для облегчения обсуждения и согласования интересов заинтересованных сторон и разработчиков.
Фиксируйте полученные знания
Во времена, предшествовавшие Agile, UX и Lean, мы часто занимались управлением проектами в области управления продуктами и их разработки. Управление проектами по-прежнему широко используется, и на то есть веские причины, например, в строительных проектах.
Одна из практик, используемых в классическом управлении проектами, заключается в создании документа “извлеченные уроки”. Это было полезным упражнением в проектах, над которыми мы работали в прошлом. Подумать о том, что можно было бы сделать лучше в следующий раз, - отличная идея.
Однако в большинстве компаний это упражнение выполняется только в конце проекта, и, к сожалению, документ часто оказывается в папке в шкафу, и никто никогда больше не просматривает его после завершения проекта.
В Scrum-командах, когда применяется профессиональный Scrum, эти знания фиксируются чаще. Используя ретроспективу спринта, Scrum-команды стремятся к обучению и постоянному совершенствованию в конце каждого спринта. Эта информация должна быть реализована в предстоящих спринтах. Хорошая практика, которой мы научились, заключается в том, чтобы взять одно улучшение из ретроспективы спринта и поместить его в начало списка невыполненных работ для следующего спринта.
Таким образом, обучение может (и должно) быть явным. Мы создали обучающие карточки Strategyzer (см. рис. 18.2) для различных клиентов, чтобы зафиксировать полученные в ходе проведенных нами экспериментов знания.
Мы добавили эти знания на стену нашего продукта, чтобы собрать всю эту информацию в одном месте. В какой-то момент вся стена была увешана этими обучающими карточками. Когда мы хотели провести новые эксперименты, или когда нам казалось, что мы уже что-то протестировали, или когда мы хотели пересмотреть следующие шаги, мы просто подходили к стене и смотрели. Визуализация всех тестов и полученных знаний также интересна пользователям и заинтересованным сторонам, поскольку позволяет показать и объяснить, что вы постоянно тестируете, учитесь и открываете для себя новые возможности, чтобы максимизировать ценность продукта.
