В теории эксперименты звучат очень даже красиво: давайте проверим какую-то гипотезу, соберём данные и примем решение, основываясь не на ощущениях, а на фактах. Но вот на практике у большинства руководителей к экспериментам отношение очень настороженное, и это не потому, что они не любят аналитику, а потому, что они очень хорошо чувствуют скрытую сторону любого теста: пока вы проверяете, одновременно с этим вы рискуете результатом. Вы не просто наблюдаете, вы вмешиваетесь в систему, а любое вмешательство может стоить денег, времени, репутации и, в случае HR, доверия людей.
Именно поэтому диалог про эксперименты часто ломается на первой же фразе. Аналитик говорит давайте протестируем, а руководитель слышит давайте на время ухудшим показатели, чтобы посмотреть, станет ли лучше. Даже если это не так, создается именно такое. И в этот момент важно не убеждать и не продавать тест как хорошую практику, а честно проговорить то, что бизнесу реально важно: сколько нам будет стоить изучение, что мы потеряем, если ошибёмся, и как мы ограничим ущерб.
Эксперимент - это не доказательство, а сделка
Любой эксперимент это сделка между текущим результатом деятельности и завтрашним улучшение процессов. Вы платите чем-то сейчас, чтобы снизить неопределённость и принимать решения лучше потом. И если вы не называете эту цену, руководитель будет считать, что цена либо скрыта, либо бесконечна, а в таком случае может лучше и вообще не начинать.
В этом смысле эксперименты очень похожи на обучение: само обучение не приносит выручку, но снижает вероятность дорогих ошибок в будущем либо же снижает болезненность этих самых ошибок. Только у эксперимента цена видна сразу, потому что вы меняете процесс в реальном времени и получаете неизбежные побочные эффекты. И вот здесь ключевой вопрос не в необходимости эксперимента, а в том, какая цена изучения для нас приемлема и как мы её держим под контролем.
Что за цена обучения
Когда мы тестируем гипотезу, мы вынуждены так или иначе распределять внимание и ресурсы между разными вариантами. Это означает, что часть людей будет работать в варианте, который может быть хуже текущего. Даже если он потом окажется лучше, в моменте вы же всё равно платите за возможность узнать правду. Это и называется ценой изучения.
Эта цена будет касаться двух аспектов. Первый аспект прямой и бухгалтерский: сколько мы недозаработали, сколько потеряли конверсии, сколько получили лишних обращений в поддержку, сколько потратили времени сотрудников. Второй уже более неприятный, но часто более важный: доверие, восприятие качества, то есть моральный эффект. В HR это особенно чувствительно, потому что кандидатский опыт и внутренние процессы - это не просто метрики, это опыт людей. Именно поэтому эксперимент, который в среднем дал плюс 2%, может всё равно считаться неудачным, если он сжёг доверие нанимающих менеджеров или испортил бренд работодателя.
И вот почему разговор про тестирование должен начинаться не с дизайна теста, а с рамки: какой ущерб мы готовы принять ради знания.
Как объяснить цену изучения так, чтобы тебя услышали
Вы можете заранее при разговоре с руководителем объяснить, что предлагаете конкретные условия окончания эксперимента. Руководителю не так важно, какой именно статистический критерий применять, ему важно понимать, что эксперимент не превратиться в дырку в бюджете или в репутации.
Поэтому полезно говорить языком границ. Предложите выделить, скажем 10% и если метрика X ухудшится на 10%, то эксперимент сворачивается. Не проверим гипотезу за месяц, а лучше сказать, что через две недели мы либо видим ранний сигнал, либо закрываем тест и возвращаемся к базовой версии. И обязательно - не только про выигрыш, но и про downside: что будет, если гипотеза плохая, и как вы минимизируете этот ущерб.
В этот момент эксперименты перестают быть обычной игрой и становятся управляемым инструментом.
Самая частая ошибка аналитика - считать риск только цифрами
Когда мы говорим о риске, аналитик почти автоматически думает о метриках, значимости и доверительных интервалах. Но бизнес часто оценивает риск иначе. Он оценивает риск через влияние тестирования на процессы, доверие клиентов или сотрудников, а также через возможные последствия ошибок. Поэтому даже идеально посчитанный тест может быть отвергнут, если не учтены человеческие издержки.
В HR это проявляется особенно ярко. Если вы тестируете новый скрипт общения с кандидатами, новый формат интервью или новый способ оценки обратной связи, то цена изучения - это не только конверсия, это ещё и то, сколько плохих впечатлений у кандидатов вы создали, сколько менеджеров . И если аналитик не говорит об этом, руководитель будет считать, что аналитик не понимает реальный бизнес.
Поэтому важно проговаривать цену изучения шире: не только сколько процентов мы потеряем, но и какую репутационную и организационную цену мы готовы заплатить ради знания.
Вывод 🎯
Эксперимент - это не бесплатный способ узнать правду. Это сделка, в которой вы платите текущим результатом, чтобы снизить неопределённость и принимать решения лучше. И если вы не называете цену изучения, бизнес будет воспринимать эксперимент как риск без границ.
Хорошая аналитика в экспериментах начинается с другого: с честного признания риска и с того, что вы задаёте пределы. Сколько мы готовы потерять ради знания, какие метрики нельзя ухудшить, какой масштаб допустим и при каких условиях мы остановимся. Когда эти рамки есть, эксперимент становится не опасной игрой, а управляемым инструментом.
Я регулярно разбираю такие темы в своём Telegram-канале, если вам интересно глубже понимать аналитику и работать с данными, там регулярно выходят короткие заметки и практические примеры.