Замер NPS в целом по компании
Во время своей работы в области клиентского опыта, я отвечал за количественные опросы по лояльности клиентов B2C, включающие индексы NPS и CSI. Мы собирали данные по клиентам компании ежеквартально, общая выборка для одного замера составляла около тысячи анкет. Данные собирались с помощью телефонного опроса (CATI), который проводил аутсорсинговый колл-центр. Я анализировал данные, отслеживал динамику и изучал причины оценок. На показателе NPS предполагалось завязать часть мотивационной премии сотрудников первой линии, поэтому к исследованию относились достаточно серьезно, оно было в фокусе у руководства.
И вот, проведя очередной замер, я увидел, что индекс NPS необъяснимо вырос по сравнению с предыдущим кварталом. Рост имел статистическую значимость и был действительно крайне высок. Но никаких внешних факторов, объясняющих положительную динамику, не было. Не проводились рекламные кампании, какие-либо маркетинговые активности, улучшения, связанные с обслуживанием клиентов. Вероятнее всего, рост был обусловлен смещением выборки относительно предыдущего замера. Респонденты для исследования отбирались случайным образом, и выборка в тысячу анкет позволяла сделать репрезентативный срез, но аномальный рост показателя требовал анализа. (подробнее о размерах выборки см. Оптимальный объем выборки)
В базе были как демографические данные клиентов, так и информация по продуктовому портфелю. Провести сравнительный анализ подвыборок не составило труда. Но, к сожалению, результат был отрицательный – все группы клиентов, уровень лояльности которых различался в рамках одной выборки, были собраны примерно в равном количестве, смещения не было. Анализ текстовых комментариев также ничего не дал – какого-либо растущего фактора, влияющего на рост NPS, не было.
Влияние колл-центра на Индекс
Тогда появилась гипотеза, что в росте Индекса «виноват» колл-центр. Я принялся анализировать все данные о работе колл-центра, которые были в базе: время звонка респонденту, количество попыток дозвона, пол операторов колл-центра и количество собранных ими анкет. Результаты были крайне интересными. Оказалось, что при опросе клиентов в утреннее время, мы получали NPS значительно выше, чем при звонках вечером. Конечно же речь шла о рабочих днях, в выходные мы старались клиентов не тревожить. Но само главное – индексы NPS у разных операторов сильно отличались. К примеру, у кого-то был отрицательный показатель, у других же NPS доходил до 30-40 пунктов. Это при том, что они работали по одной и той же «перемешанной» базе. Послушав записи разговоров, я понял, что более приятные голоса операторов, преимущественно девушек, поднимали уровень NPS, тогда как более «сухой» деловой тон занижал показатель.
Не зря Фредерик Райхельд, создатель NPS, рекомендовал сперва наладить операционную систему оценки перед тем, как устанавливать KPI для сотрудников, обслуживающих клиентов. Не зная таких тонкостей, очень легко ошибиться и получить смещенные данные, которые сложно будет интерпретировать. Оператор с приятным голосом, который собирает данные в одном замере, может заболеть или уволиться, что приведет к падению индекса в динамике.
В дальнейшем для решения данной проблемы я попросил колл-центр поставить определенные квоты, ограничивающие набор анкет по операторам – каждый, кто работал на проекте, должен был выполнить определенную норму, чтобы не возникало тренд-брейка. Плюс мы решили, что будем звонить в одно и то же время в течение дня, чтобы сохранить преемственность данных.
Но данные ограничения – не весь список, который может повлиять на Индекс. На практике я замечал, что NPS очень чувствительный показатель, любые изменения в методике могут привести к слому динамики. Например, наличие тех или иных вопросов, рядом с вопросом NPS, положение Индекса в анкете, размер анкеты, сезонность опроса и проч. Поэтому еще раз хотел бы отметить – перед принятием серьезных управленческих решений, каковым является выставление KPI, необходимо четко отладить систему оценки и получать данные, которые были бы связаны с финансовым поведением клиентов.
Опыт с online анкетированием NPS
В дальнейшем, работая в направлении исследований лояльности A+Loyalty компании YES Group, я организовывал online опросы лояльности с помощью панелей клиентов различных продуктов и услуг. Это большие сообщества респондентов, которые за символическое вознаграждение отвечают на анкеты по различным тематикам. Проведя некоторое количество волновых замеров по анкетам, включающим NPS, я отмечал более высокую устойчивость данных, при этом не было необходимости пристально следить за работой колл-центра, прослушивать новых операторов и сравнивать результаты.
В случае со сбором данных через online мы не имеем дело с таким сильным фактором, как влияние интервьюера, при этом необходимо отметить, что остальные проблемы, связанные с чувствительностью NPS, остаются. Важно крайне трепетно относиться к методологии замера Индекса, особенно в начальный период, когда система только настраивается.
К слову, классический расчет NPS (промоутеры минус критики) сильнее подвержен влиянию, нежели средний балл по шкале от 0 до 10. Такой анализ напрямую не учитывает нейтралов (подробнее см. «НЕЙТРАЛЫ» в NPS), а также ограничен исключительно рекомендациями компании, которая в ряде случаев может давать сбой. Мы рекомендуем пользоваться более комплексной интегральной оценкой лояльности, например, Индексом A+Loyalty.
Конечно, в ближайшее время online анкетирование полностью не заменить телефонные опросы. Если необходимо собрать узкую аудиторию, особенно с низкой долей проникновения интернета, либо в небольших городах, «телефонник» незаменим. Кроме того, если брать опросы по внутренней клиентской базе, отклик на online анкету будет очень низким. Но в случае, когда необходимо наладить оценку лояльности по внешним данным, особенно когда важен конкурентный анализ, мы рекомендуем использовать online панель и комплексный подход к оценке лояльности.
