Мне напомнили, что я обещал про NPS написать.
Как говорится, like, share, repost — очень интересно послушать аргументы “за” или success story.
ИМХО, NPS — https://en.wikipedia.org/wiki/Net_Promoter — это метрика, необходимость которой себе надо доказывать от обратного. Сначала сформулировать, что NPS вам не нужен, а потом, изучая методологические претензии, критику и опыт других компаний, пытаться найти хоть какие-то аргументы “за”.
Начать стоит с того, что у NPS нет никакого физического или логического смысла. За вычитанием detractors из promoters ничего не стоит. Это просто искусственно придуманная формула, с помощью которой получается число. Как если бы из количества правшей в мире вычли количество левшей, а результат объявили net количеством правшей.
Такой очень высокоуровневый KPI, который как-то должен выражать опыт пользователей и коррелировать с другими KPI.
Напомню, что NPS равный 30 — это и 31-1, и 50-20, и 65-35.
А 35% detractors — это любое распределение по ответам от 0 до 6.
Вот и думайте, что он может выражать и как коррелировать.
NPS — это измерение намерения пользователей (“порекомендуете ли вы…”), а не действия или результата действия. Нет никакой возможности проверить ни правдивость ответов, ни факт реальной рекомендации в будущем. Более того, момент ответа на вопрос о готовности рекомендовать и момент реальной рекомендации настолько далеко друг от друга во времени, что всё уже сто раз может поменяться.
Т.к. само по себе число ничего не значит, то обычно NPS используют так:
-- сравнивают текущий NPS с предыдущими значениями для этого же продукта или сервиса — чтобы оценивать влияние вносимых в продукт изменений на customer experience;
-- сравнивают NPS различных продуктов или сервисов друг с другом и со средним в индустрии.
Чтобы сравнивать, NPS сначала надо измерить: задать пользователям один простой вопрос и посчитать значение по примитивной формуле. Однако, на практике результат сильно зависит от огромного количества факторов: типа продукта или услуги, момента и контекста, самой формулировки вопроса и внешнего вида сообщения, наличия других вопросов в опроснике, культурных особенностей, времени суток, настроения, ожиданий, понимания происходящего, выборки, технических проблем и т.д. и т.п. Тысячи их. Большая часть из них не имеет отношения к опыту использования вашего продукта.
Например, сразу после покупки билетов я оценю цену и удобство сайта. За день до перелёта — свои ожидания от поездки. Сразу после перелёта — всё это вместе с перелётом, аэропортом, ранним подъёмом, тяжелой сумкой, слишком короткой стыковкой и т.п. Через неделю — удовлетворённость отпуском и что-нибудь ещё.
Если до вопроса о готовности рекомендовать продукт мне придётся заполнить анкету из пары десятков других вопросов, я наверняка отвечу не так, как если бы вопрос был один. Особенно, если в процессе вспомню все проблемы и косяки этого продукта.
Предположим, что для сравнения продукта с самим собой мы жёстко зафиксируем все подконтрольные нам факторы:
— выберем правильный момент так, чтобы отвечали именно те, кто реально воспользовался продуктом;
— чётко сформулируем вопрос, чтобы было понятно о чём речь;
— договоримся, что в сообщении будет только он, чтобы другие вопросы не влияли на ответ;
— договоримся о неизменности внешнего вида сообщения, одном и том же канале доставки и пр.;
— продумаем подход к выборке пользователей или решимся на то, чтобы опрашивать всех, подходящих;
— застрахуемся от технических проблем;
— и т.п.
Кажется, что после этого остаётся только менять продукт и оценивать изменение пользовательского опыта по колебаниям NPS. (В идеале, в продукте надо делать атомарные изменения и тестировать каждое из них в отдельности, т.к. если изменений будет много, будет непонятно что из них улучшило NPS, а что нет.)
Однако, тут же вмешивается время и сами пользователи.
Во-первых, на кучу изменений и измерений надо много времени и много выборок новых пользователей. Долбить одним и тем же вопросом одних и тех же пользователей — не выйдет.
Во-вторых, всё ещё никаких гарантий, что пользователи в выборках не отличаются по какому-нибудь невидимому вам параметру. Будут постоянные вопросы о том, что вызвало флуктуации — продукт или выборка.
В-третьих, пользователи со временем тоже меняются: новички приходят по другой рекламе с другими ожиданиями от продукта, появляются или пропадают конкуренты, появляются или перегорают ожидания в комьюнити, пользователи приходят с нового айфона, на котором опросник выглядит криво и т.п.
В конечном итоге станет понятно, что получение одного числа не стоит таких усилий. Вероятнее всего, для объяснения этого числа будет проводиться куча других исследований, которые гораздо лучше опишут происходящее.
Так может сразу строить нормальный процесс исследования аудитории?!!
Сравнение NPS разных продуктов и расчёт среднего значения по индустрии выглядит как шутка про сравнение яблок и ... даже не апельсинов, а яблок и бетонных столбов. Тёплое с мягким…
Приблизительно половина «исследователей» не может объяснить что и зачем. Путают цель, переформулируют вопрос как им угодно, меняют шкалу (почитайте публикации — там то 0-10, то 1-10, то вообще 1-4) и формулу (promoters то 9-10, то 8-10), задают вопрос отдельно или вместе с десятками других вопросов, и т.п. и т.д.
Опрашивают в разные (зачастую неправильные) моменты и в совершенно разных условиях. В итоге у одних — NPS сайта, у других — NPS самолёта, у третьих — NPS службы поддержки(!), а сравнивают это как NPS трёх разных авиакомпаний.
Банально манипулируют цифрами для достижения каких-то своих целей... У кого-то же NPS точно в KPI записан!
Непонятно как у кого-то рука поднимается найти в Интернете какое-то число и что-то с ним сравнивать.
В итоге, ИМХО так:
-- к самой идее NPS сплошные вопросы;
-- для своего продукта можно наловчиться регулярно измерять NPS, но для интерпретации потребуется много других исследований;
-- лучше строить свой процесс качественного и количественного исследования аудитории и анализ KPI — тогда точно будете понимать, что происходит;
-- не стоит сравнивать свой NPS с тем, что публикуют в Интернете; тем более не стоит на базе этого делать какие-то выводы;
-- писать такие длинные тексты не стоит :-).
На практике я со многим из перечисленного сталкивался: и с падением NPS у не менявшегося продукта, и с падением NPS у улучшавшегося (по другим KPI) продукта, и с измерением NPS по шкале 1-10, и с выборкой в 16 человек, и с NPS как KPI для бонусов, и пр.
Много раз обсуждал NPS, как метрику, с теми, кто у себя в продуктах или компаниях его внедрял -- ЕМНИП, ни у кого сильно позитивного опыта нет. Многие считают, но никогда толком не используют.
Ну и в завершение поиграйтесь вот с этим и подумайте -- http://indexnps.com.
Откуда у них данные и как они считают? -- Да вот как:
"Index NPS gathers NPS® data from publicly available sources. In cases when we do not find an NPS score for a company, we use company’s Facebook Social Post behavior. Index NPS aggregates the last 100 social posts of a company and extracts each social post behavior, such as "Like", Angry, Sad, Happy. Based on the social data, we create an NPS score which is based more on social data rather than survey data."