Хочу рассказать вам про закон Гудхарта (Чарльз Гудхарт - британский экономист, сформулировал его в 1975 году).
Звучит он так: Любая наблюдаемая статистическая закономерность имеет тенденцию разрушаться, как только на неё оказывается давление с целью управления.
Более известная и формулировка этого закона принадлежит антропологу Мэрилин Стрэтер: Когда мера становится целью, она перестаёт быть хорошей мерой.
Суть закона заключается в том, что как только показатель начинают использовать как KPI - поведение людей и систем подстраивается именно под этот показатель.
И часто это делают часто в ущерб тому, что он изначально должен был отражать.
Канонические примеры работы такого закона:
- Завод в СССР, которому ставили план в тоннах, выпускал тяжёлые гвозди. Если ставили план в штуках - выпускал мелкие и бесполезные.
- Если колл-центр получает KPI по времени обработки звонка, операторы начинают сбрасывать сложные обращения.
- Школы, которые оценивают учеников по результатам тестов, начинают "натаскивать" учеников на тест вместо обучения предмету.
У нас в маркетинге и рекламе есть аналогичные примеры:
1. Если у закупок KPI провести тендер, где выигрывает самая низкая комиссия - заказчик получает подрядчика низкого качества и вкладывает гораздо больше своих ресурсов на работу.
2. Цель тендера получить дешёвый клик? Агентство находит дешевый трафик или вообще льет фрод, а не целевую аудиторию.
3. Нужно растить конверсию - самое простое решение отсечь холодную аудиторию, а не научиться её прогревать.
И так далее.
Погоня за CTR, охватами, DAU или NPS как самоцелью почти всегда деформирует продукт или коммуникацию.
Поэтому в зрелых командах метрики стараются балансировать (например, через North Star + контрметрики) и периодически пересматривать.
В зрелых компаниях стараются использовать NMS (North Star Metric)
Это метрика, которая лучше всего отражает ключевую ценность, которую продукт создаёт для клиента.
Идея в том, чтобы вся компания ориентировалась на один показатель, который одновременно коррелирует с ростом бизнеса и с реальной пользой для пользователя.
И важно понимать, что это не метрика дохода. Рост выручки это следствие, а не причина. NSM должна описывать момент, когда клиент получает ценность.
Как говорил один мой приятель, бизнес должен давать такую ценность для клиента, что деньги станут неизбежностью. Люди сами "принесут их в клювике". Просто сказать, сложно сделать.
На практике NSM почти никогда не используется в одиночку - к ней добавляют контрметрики (guardrails). Контрметрики - это ответ на вопрос «какими способами мы не хотим достигать.
Примеры:
Netflix
NSM: часы просмотра (hours streamed).
Но часы просмотра можно «накрутить» дешёвым контентом, который смотрят фоном и Netflix добавил content completion rate (доля досмотренного контента) и title reach (сколько уникальных пользователей начали смотреть тайтл). Эти контрметрики не дают оптимизировать NSM за счёт низкокачественного контента большого объёма.
Airbnb
NSM: количество забронированных ночей (nights booked).
Guardrails: bounce rate (процент отказов), page load speed (скорость загрузки страницы), seats booked for experiences.
Пример из практики: когда в одном эксперименте убрали отображение правил дома на этапе checkout, бронирования выросли, но упали оценки в отзывах - сработала контрметрика
Дополнительно Airbnb отслеживает удовлетворённость и retention хостов - чтобы рост бронирований не приводил к выгоранию хозяев и падению качества.
В банке это может быть количество активных клиентов (MAU экосистемы).
Guardrails: количество продуктов на клиента, NPS или CSI по продуктам (чтобы рост клиентской базы не шёл за счёт ухудшения сервиса), и CAC (если растёт быстрее LTV - рост убыточен).
Короче будьте осторожны с KPI.