В этой главе:
• Вы узнаете, когда следует проводить качественные исследования, а когда - количественные.
• Поймете, какой подход лучше всего использовать для определения того, какие функции следует использовать в дальнейшем.
• Узнаете, какие исследования помогут вам предсказать, будут ли пользователи покупать ваш продукт.
Я посвятил несколько глав рассказу о том, что вы будете гореть в аду, если не проведете качественное исследование своих пользователей. Теперь я расскажу вам, когда этот совет станет абсолютно бесполезным. Разве вы не рады, что не перестали читать после первых нескольких глав?
Правда в том, что качественные исследования подходят не для каждой ситуации. Они великолепны для изучения очень специфических вещей и совершенно бесполезны для других целей. Это нормально. Хитрость в том, чтобы использовать их только в определенных обстоятельствах.
Во-первых, давайте вкратце коснемся некоторых различий между качественными и количественными исследованиями. До сих пор мы в основном обсуждали качественные исследования в этой книге. Обычно они включают в себя опрос или наблюдение за людьми и понимание их поведения. Это статистически не значимо.
Вот несколько примеров качественного исследования:
1. Контекстуальный опрос
2. Изучение юзабилити
3. Интервью с клиентами по развитию бизнеса
Количественное исследование - это измерение того, что реальные люди на самом деле делают с вашим продуктом. Оно не предполагает общения с конкретными людьми. Речь идет о данных в совокупности. Он всегда должен быть статистически значимым.
Вот несколько примеров количественных исследований:
1. Анализ воронок
2. A/B тестирование
3. Когортный анализ
Я знаю, что мы не вдавались в подробности того, что представляют собой эти количественные методы исследования и как их можно использовать. Если вам интересно узнать больше о такого рода аналитических инструментах (а вам должно быть интересно), вы можете ознакомиться с книгой Алистера Кролла и Бена Йосковица (O'Reilly) "Бережливая аналитика".
Но все это не имеет значения, если вы не понимаете, когда вы предпочли бы использовать качественный метод, а когда - количественный. Количественное исследование покажет вам, в чем заключается ваша проблема. Качественное исследование покажет вам, почему у вас возникла эта проблема.
Теперь давайте посмотрим, что это значит для вас, когда вы принимаете решения о продукте.
Изменение одной переменной
Когда вы пытаетесь выбрать между качественным и количественным тестированием для любого конкретного изменения или функции, вам нужно выяснить, сколько переменных вы меняете.
Вот простой пример: у вас есть страница продукта с кнопкой "Купить" на ней. Вы хотите посмотреть, работает ли кнопка "Купить" лучше, если она расположена выше на странице, не меняя ничего другого. Что вы делаете? Качественное или количественное?
Все верно, я сказал, что это простое решение. Нет абсолютно никаких причин качественно тестировать его перед отправкой. Просто покажите это пользователям и измерьте, как часто они нажимают на кнопку.
Дело в том, что при таком незначительном изменении пользователи, участвующие в тестировании или обсуждении, не смогут предоставить вам никакой достоверной информации. Честно говоря, они, вероятно, даже не заметят разницы. Качественная обратная связь здесь не будет стоить того времени и денег, которые потребуются для проведения интервью, бесед с пользователями и анализа данных.
Что еще более важно, поскольку вы меняете только одну переменную, если поведение пользователя меняется, у вас уже есть четкое представление о том, почему оно изменилось. Это произошло потому, что кнопка CTA была расположена в лучшем месте. Здесь нет ничего загадочного.
Есть исключения! В некоторых случаях вы собираетесь внести изменения, которые кажутся невероятно простыми, и вы увидите огромные и неожиданные изменения в своих показателях (как положительные, так и отрицательные). Если это произойдет, стоит запустить несколько наблюдательных тестов с помощью чего-то вроде UserTesting. com, где вы просто наблюдаете за людьми, использующими эту функцию, как до, так и после изменения, чтобы увидеть, не происходит ли чего-то странного. Например, возможно, вы допустили ошибку или сделали так, что кнопка больше не видна определенным пользователям.
Многовариантное изменение или изменение потока
Другое типичное изменение дизайна связано с добавлением совершенно новой функции, которая может повлиять на множество различных переменных.
Вот пример: вы хотите добавить функцию, которая позволяет пользователям взаимодействовать с другими пользователями вашего продукта. Вам нужно будет добавить несколько новых элементов в свой интерфейс, чтобы пользователи могли выполнять такие действия, как поиск людей, которых они знают, поиск других интересных людей, которых они не знают, управление своими новыми связями и получение некоторой выгоды от уже установленных связей.
Теперь вы можете просто создать функцию, отправить ее и протестировать, чтобы увидеть, как она работает, примерно так же, как вы вносили изменения в одну переменную. Проблема в том, что вы понятия не будете иметь, почему она была успешной или неудачной, особенно если она была неудачной.
Давайте предположим, что вы запустили его и обнаружили, что это негативно сказывается на удержании клиентов. Вы можете предположить, что это был неудачный выбор функций, но я часто сталкиваюсь с тем, что люди не используют новые функции не потому, что им не нравится концепция, а потому, что функции плохо реализованы.
Лучший способ справиться с этим - предотвратить это в первую очередь. Когда вы вносите крупные, многовариантные изменения или действительно перестраиваете технологический процесс для чего-то, что уже существует на вашем сайте, вы захотите провести качественное тестирование, прежде чем отправлять продукт.
В частности, цель здесь состоит в том, чтобы провести стандартное тестирование юзабилити с использованием интерактивных прототипов, чтобы вы могли определить, какие элементы сбивают с толку (примечание: Да, есть сбивающие с толку элементы, поверьте мне!) и исправить их до того, как они попадут в поле зрения пользователей.
Конечно, вы все равно проведете A / B-тест после его отправки, но дайте этой новой функции наилучшие шансы на успех, сначала убедившись, что вы не создаете что-то, что невозможно использовать.
Решаем, что строить дальше
Послушайте, что бы вы ни поняли из этой следующей части, пожалуйста, не думайте, что я говорю вам, что вы должны спросить своих пользователей, чего именно они хотят, а затем создать это. Никто не считает, что это правильный способ создания продуктов, и я устал спорить об этом с людьми, которые не понимают UCD или Lean UX.
Однако вы можете многому научиться как из количественных, так и из качественных исследований, когда будете решать, что создавать дальше.
Вот пример: у вас есть успешный продукт для социальной коммерции с большим количеством пользователей, которые занимаются множеством дел, но у вас также есть 15 миллионов идей о том, что вам следует создать дальше. Вам нужно немного сузить круг поиска.
Ключевым моментом здесь является то, что вы хотите посмотреть, что ваши пользователи в данный момент делают с вашим продуктом, а чего они с ним не делают, и вы должны делать это как с качественными, так и с количественными данными.
Качественные подходы
- Регулярно наблюдайте за пользователями, пользующимися вашим продуктом. Посмотрите, в чем у них проблемы, где они кажутся разочарованными или жалуются на то, что не могут делать то, что хотят. Все это даст вам идеи для улучшения существующих функций или добавления новых.
- Поговорите с людьми, которые перестали пользоваться вашим продуктом. Выясните, что они ожидали получить, когда начали его использовать, и почему прекратили.
- Понаблюдайте за новыми покупателями вашего продукта и спросите их, чего они ожидали от первых 15 минут использования продукта. Если это не соответствует тому, что на самом деле дает ваш продукт, то либо исправьте продукт, либо улучшите опыт первого использования, чтобы соответствовать ожиданиям пользователей.
Количественные подходы
- Посмотрите на функции, которые в настоящее время пользуются наибольшей популярностью у клиентов с наибольшей стоимостью. Попытайтесь выяснить, есть ли в этом какая-то закономерность, а затем протестируйте другие функции, которые соответствуют этой закономерности.
- Попробуйте “поддельный” тест, добавив кнопку или элемент навигации, представляющий функцию, которую вы планируете добавить, а затем измерьте, сколько людей нажимают на нее. Вместо того чтобы внедрять на своем сайте целую систему поиска друзей, добавьте кнопку, позволяющую пользователям добавлять друзей, а затем сообщайте им, что функция еще не совсем готова, пока вы подсчитываете процент людей, которые нажимают на кнопку.
Все еще не знаете, какой подход выбрать?
Что, если вы измените что-то не так? Например, возможно, вы не вносите изменения в одну переменную, но это и не является существенным изменением. Или, может быть, вы вносите довольно простые изменения в визуальный дизайн или обмен сообщениями, которые затронут многие аспекты продукта, но не слишком сильно повлияют на работу пользователя.
Сколько бы правил мы ни вводили, все равно будут приниматься решения. Лучшая стратегия - постоянно следить за своими показателями и наблюдать за людьми, использующими ваш продукт. Таким образом, даже если вы не проведете правильное исследование в нужное время, у вас будет гораздо больше шансов обнаружить какие-либо проблемы до того, как они нанесут ущерб вашему бизнесу.
Слабо связанная с Этим тирада: Если Вы Это построите, купят ли они Это?
Как вы, надеюсь, уже поняли, я большой сторонник качественного пользовательского тестирования. Я считаю, что это отличный способ узнать больше о ваших пользователях и продукте.
Но это не панацея. Дело в том, что существует множество вопросов, на которые качественное тестирование либо не дает точных ответов, либо не является наиболее эффективным решением.
К сожалению, один из самых важных вопросов, на который люди хотят получить ответы, не особенно хорошо подходит для качественного тестирования.
Если Я Его построю, купят ли они?
Меня часто спрашивают, будут ли пользователи покупать продукт, если команда добавит определенную функцию. К сожалению, мне всегда приходится отвечать: “Понятия не имею”.
Проблема в том, что люди совершенно не умеют предсказывать свое будущее поведение. Представьте, что кто-то спросил бы вас, собираетесь ли вы купить автомобиль в этом году. Так вот, для некоторых из вас этот ответ почти наверняка будет утвердительным, а для других - почти наверняка отрицательным. Но для большинства из нас ответ таков: “Это зависит от обстоятельств”.
Для некоторых добавление новой функции — скажем, электродвигателя — может стать решающим фактором, но для многих решение о покупке автомобиля зависит от множества факторов, большинство из которых не контролируются производителем автомобиля: экономичность, поломка текущего автомобиля, наличие мы выигрываем в лотерею или получаем работу в Goldman Sachs и так далее. Есть и другие факторы, которые находятся под контролем автомобильной компании, но не связаны с предлагаемой функцией: возможно, новый электромобиль не того размера, или не соответствует нашему ценовому диапазону, или не соответствует нашему стилю.
Это справедливо и для небольших покупок. Можете ли вы с уверенностью ответить, будете ли вы есть печенье на этой неделе? Если вы никогда не едите печенье (мне говорили, что такие люди существуют), то, вероятно, вы не слишком задумываетесь об этом. Если бы кто-нибудь спросил вас об этом в ходе исследования пользователей, ваш ответ был бы не более чем предположением и, возможно, даже был бы предвзятым из-за того, что вам просто задали вопрос.
Согласитесь, печенье сейчас звучит неплохо, не так ли?
Есть и другие причины, по которым качественное тестирование не очень помогает в прогнозировании будущего поведения, но я не собираюсь утомлять вас ими. Дело в том, что это просто не самый эффективный метод для ответа на вопрос: “Если я создам это, придут ли они?”
На какие вопросы могут дать исчерпывающие ответы Качественные Исследования?
Качественное исследование позволяет определить, способны ли ваши пользователи выполнять X. Оно показывает, имеет ли для них смысл данная функция и могут ли они успешно выполнить поставленную задачу.
В меньшей степени это может даже сказать вам, нравится ли им выполнение задачи, и, безусловно, может сказать, не нравится ли им это. (Поверьте мне, проведите несколько пользовательских тестов функции, которую они ненавидят. Вы узнаете.)
Очевидно, что это каким-то образом влияет на то, будет ли пользователь делать X, поскольку у него гораздо больше шансов сделать это, если это не раздражает или не сложно. Но на самом деле лучше предсказать отрицательный вариант (т.е. пользователь, скорее всего, не будет использовать эту функцию в текущей итерации), чем положительный.
Иногда качественное исследование также может дать вам мало полезную обратную связь, если вероятность совершения покупки вашими пользователями высока или маловероятна. Например, если вы покажете им интерактивный прототип со встроенной в него новой функцией, вы, возможно, сможете вынести верное суждение, основываясь на их немедленной реакции, были ли все ваши участники исключительно взволнованы или крайне негативно настроены по поводу той или иной функции.
К сожалению, по моему опыту, это скорее исключение, чем правило. Редко бывает, чтобы участник исследования, увидев новую функцию, вскрикивал от восторга или отшатывался в ужасе. Хотя, честно говоря, я видел и то, и другое.
Как лучше всего ответить на этот вопрос?
К счастью, на этот вопрос можно довольно эффективно ответить, используя количественные данные, даже до того, как вы создадите совершенно новую функцию. Многие компании добились немалого успеха, добавив “поддельную” функцию или проведя тестирование целевой страницы.
Например, один клиент, который хотел узнать ожидаемую стоимость покупки до того, как компания выполнит всю работу по интеграции методов покупки и приему кредитных карт, просто добавил кнопку "Купить" на каждую страницу своего продукта. Когда клиент нажимал на кнопку, ему сообщали, что функция еще не совсем готова, и клик регистрировался, чтобы компания могла определить, сколько людей проявляют желание совершить покупку.
Измерив количество людей, которые думали, что они берут на себя обязательство совершить покупку, клиент смог более эффективно оценить количество людей, которые действительно совершили бы покупку, если бы им была предоставлена такая возможность.
В результате получается, что единственный действительно эффективный способ определить, будут ли пользователи что-то делать, - это настроить тест и посмотреть, что они на самом деле делают, а это требует более количественного подхода к тестированию.
Есть ли другие Вопросы, на которые Вы не можете ответить Качественно?
Ага. Их множество.
Самое важное, что нужно помнить, когда вы пытаетесь решить, использовать качественные или количественные методы, - это спросить себя, хотите ли вы знать, что происходит или почему происходит именно это.
Если вы хотите измерить что-то существующее, например трафик, доход или количество людей, нажимающих на определенную кнопку, то вам нужны количественные данные. Если вы хотите знать, почему вы теряете людей из своей воронки покупок, или почему все люди уходят, как только попадают на определенную страницу, или почему люди, похоже, не нажимают на эту кнопку, тогда вам нужен качественный анализ.
Иди и сделай это сейчас же!
- Переходите от количества к качеству: попробуйте посмотреть на показатели вашей воронки, чтобы понять, где у вас возникают проблемы, а затем проведите качественное исследование, чтобы понять, почему у пользователей возникают проблемы в этих местах.
- Переходите от качеству к количеству: попробуйте внести изменения, основываясь на результатах своих качественных исследований, и измерить эти изменения с помощью A / B-теста.