Источник: ☭ Изменение определений метрик с целью изменения культур: индекс пропагандистов торговой марки
Веб-аналитики редко глубоко задумываются о подоплеке того, о чем сообщают посредством данных. Но мы должны рассматривать последствия применения данных в более широком контексте, увязывать их с бизнес-целями и иногда быть достаточно настойчивыми, чтобы попытаться изменить культуру компании.
В качестве примера расскажу историю конкретной метрики — индекса приверженцев торговой марки — и моей попытки изменить культуру и установить более высокую планку для всех сотрудников компании. Надеюсь, что вы сможете провести параллель для каждой метрики, о которой сообщаете.
Посмотрите, как изменение определения метрики может повлиять на культуру компании.
Ситуация и анализ
Нужно было проанализировать данные опроса участников однодневной конференции для существующих и перспективных клиентов. Мы попросили участников конференции оценить каждого докладчика по пятибалльной шкале, ответив на вопрос “Насколько вы удовлетворены презентацией и представленным материалом?”
Данные подобного рода можно было бы получить из бесплатного опроса вебсайта типа 4Q от iPerceptions: “Как бы вы оценили общее впечатление о сайте, исходя из сегодняшнего посещения?” Или же можно использовать бесплатные опросы на уровне страниц от Get Satisfaction или Kampyle, задавая следующий вопрос:
“Пожалуйста, выставьте оценку этой странице”. Во всех этих случаях можно проанализировать исполнение контента или веб-сайта.
Наиболее очевидным подходом представляется следующий: просто усреднить баллы! Реальная формула предполагает усреднение значений трех последних столбцов. Когда ваша начальница видит этот отчет, построенный на простом усреднении, она говорит: “Похоже, что сегодня все докладчики хорошо справились со своей задачей. Предлагаю открыть шампанское”.
Но более опытный аналитик обратил бы внимание на более традиционное вычисление степени удовлетворения. Это формула предполагает сложение баллов из трех последних столбцов и их деление на общее количество ответов. Например, эффективность Джонни вычисляется следующим образом: (6+12+0)/18.
Среднее значение — 6,0 — представляет собой оторванное от какого-либо контекста число и, следовательно, его трудно реально интерпретировать. И напротив, 100% обладает определенным контекстом (100 — максимально возможное значение!) и, следовательно, руководитель может его интерпретировать.
Если использовать процентное значение, шампанское заслуживают не все. Джонни, Крис и Эппл заслужили его, поскольку очень хорошо справились со своей задачей. Уилл и Брайан заслужили всего лишь благосклонный взгляд, а Гай — рукопожатие.
Проблема
Эти данные представляют две проблемы: одну незначительную и одну серьезную. Меньшая проблема наиболее наглядно проявляется в случае Гая: процентные значения обладают неприятной склонностью приукрашивать некоторые аспекты. Люди склонны считать любые значения, превышающие 75%, высокими. Поэтому, вероятно, не стоит использовать процентные значения.
Однако серьезная проблема этого вида анализа заключается в следующем:
- вознаграждение обычного оправдания надежд, возлагаемых на встречу;
- отсутствие наказания посредственности.
Обе проблемы отражают обычное отношение к бизнесу — позицию позвольте получить наш чек. Почему приемлемо просто оправдать ожидания? Но именно к этому ведет включение рейтинга “Удовлетворительное” в вычисления. Принятие этого рейтинга по существу означает следующее: “До тех пор, пока мы не потерпели явную неудачу, будем считать это успехом”.
И никто не наказывается за обеспечение рейтинга “Неудовлетворительное”. А именно это и происходит в данном случае, поскольку баллы из столбцов “Совершенно неудовлетворительное” и “Неудовлетворительное” не учитываются при вычислении метрики.
Похожая статья: ☭ Альтернативное вычисление: средневзвешенное значение
Каждое бизнес-предприятие должно стремиться к величию. Целью каждого взаимодействия должно быть порождение удовлетворения. Оценивать и вознаграждать людей следует исходя из этих высоких стандартов, поскольку посредством запоминающегося взаимодействия с клиентами можно создать пропагандистов торговой марки.
Наши клиенты любят нас, поскольку мы напряженно трудимся и устанавливаем для себя столь высокую планку. Это выливается в то, что после покидания наших стен клиенты рассказывают о нас другим людям. Они становятся пропагандистами нашей торговой марки.
Но используемая в настоящее время метрика оценивает не этот аспект.
Решение
Хотя влияние на культуру компании и не входило в круг моих обязанностей, я изменил формулу, чтобы попытаться сделать именно это. Чтобы измерить нужные значения, я внес в формулу два серьезных и одно незначительное изменение:
- отчасти под влиянием концепции Net Promoter (Сетевой промоутер) отбросил рейтинг “Удовлетворительное”;
- добавил штрафные очки за любые негативные (даже слегка негативные);
- проиндексировал результаты по оптимальному выступлению.
Я назвал новую метрику “Индекс пропагандистов торговой марки” (Brand Evangelists Index — BEI) и для ее вычисления применил следующую формулу:
Весьма удовлетворительное + Удовлетворительное в высшей степени) — (Неудовлетворительное + Совершенно неудовлетворительное) Количество ответов х 100
Результаты
При использовании новой формулы различия между докладчиками разительны. Теперь баллы ведут к совершенно иному пониманию уровня и влияния каждого докладчика.
Например, сравните эти показатели Джонни с предыдущими его показателями. Ранее они были достаточно хорошими, но теперь они выглядят менее блестящими.
Показатели Уилла, которые ранее уступали показателям Джонни, теперь превышают их на 11 пунктов. Это связано с тем, что BEI отражает способность Уилла удовлетворить запросы клиентов (значительно больше людей оценили его выступление как “Весьма удовлетворительное”, а один человек оценил его как “В высшей степени удовлетворительное”).
Сравните уникальный случай Гая Берримена. В других вычислениях Гай занимал последнюю позицию, но разница между его показателями и показателями Уилла и Брайана составляла всего несколько очков. Но BEI показывает, что показатели Гая было не просто немного хуже — они были ужасны! Он получил несколько плохих рейтингов и совершенно не справился с задачей создания благоприятного впечатления у клиентов. Ему не удалось создать пропагандистов торговой марки. Теперь его показатели отражают это обстоятельство.
Обратите внимание, что Эппл все делала правильно, но она могла бы подтянуться.
Конечный результат
Вначале лишь несколько человек оценили BEI. Но лед тронулся. Однако я представил концепцию индекса пропагандистов торговой марки вице-президенту и руководителю бюро денежного рынка. Она им понравилась, поскольку индекс пропагандистов торговой марки делал следующее:
- требовал более высокого коэффициента возврата инвестиций;
- устанавливал более высокую планку эффективности;
- был действительно ориентированным на клиентов.
BEI стал стандартом оценки эффективности и в течении следующих шести месяцев помог компании воспитать и вознаградить действительно эффективных работников. Тот, кто недостаточно хорошо справлялся со своей задачей, мог пройти дополнительное обучение и повысить свою квалификацию, или же наихудшие работники могли подыскать себе более подходящее занятие в компании.
# ЧИТАЙТЕ ЕЩЁ:
Услуги юзабилити — реальный способ заставить свой бизнес развиваться
Внутренняя перелинковка – результаты эксперимента
Интернет технологии CPA (Cost per action)
Сервис WEB - аналитики Google Analytics
Можно выучить JQuery без JavaScript?
Веб-сайт рекламного агентства
7 бессмертных SEO-мифов
Фриланс: проблема доверия между заказчиком и клиентом
Копирайтинг - плюсы и минусы работы
Основные правила фриланса
Разработка сайтов - вёрстка, макет, дизайн
Как заработать на фрилансе?
Что такое уникальный текст?
Создание сайтов WEB сайтов и HTML