Тирания A/B-тестирования: как оптимизация убивает прорывы

Тирания A/B-тестирования: как оптимизация убивает прорывы

Ваше A/B-тестирование — это трусость, замаскированная под науку.

Да, я это сказала.

Каждый раз, когда вы с гордостью показываете отчет, где «зеленая кнопка победила синюю на 2%», вы не занимаетесь маркетингом. Вы занимаетесь самоуспокоением. Вы создаете иллюзию контроля в мире, который требует от вас смелости.

A/B-тестирование — это уютный, безопасный кокон для маркетолога, который боится принимать решения. Оно дает вам красивые дашборды. Оно дает вам «data-driven» алиби перед начальством. Оно дает вам все, кроме одного.

Прорыва.

Потому что A/B-тестирование, в его нынешнем корпоративном виде, — это главный убийца великих идей. Это — тирания посредственности, возведенная в ранг бизнес-процесса.

Математика посредственности: ловушка локального максимума

Давайте начистоту. A/B-тестирование — блестящий инструмент для одной-единственной задачи: взобраться на ближайший холм. Оно идеально подходит для поиска

локального максимума.

У вас есть страница. У вас есть трафик. Вы можете бесконечно тестировать заголовки, цвета кнопок, расположение форм. И вы, без сомнения, поднимете конверсию. На 3%. На 5%. Может, даже на 10%. Вы станете царем своего маленького, уютного холма.

Но A/B-тестирование никогда не скажет вам главного.

Оно никогда не скажет вам, что в километре от вашего холма стоит, блять, Эверест.

Глобальный максимум — прорывная идея, которая меняет правила игры, — находится за пределами видимости A/B-теста. Потому что тест работает только с тем, что уже есть. Он может улучшить существующее, но не может создать принципиально новое.

Представьте себе A/B-тест в 2006 году:

Версия А: Новый телефон Nokia с улучшенной камерой и кнопками.

Версия Б: Странный прототип без физической клавиатуры, где все нужно делать пальцем на стекле.

Результат был бы очевиден. И катастрофически ошибочен.

Потому что A/B-тест не может измерить сдвиг парадигмы. Он может только оптимизировать привычное.

Стратегия — это не тест. Это — ставка.

И вот здесь мы подходим к сути.

Инфоцыгане и ленивые маркетологи продали вам идею, что маркетинг — это набор фишек и хаков, которые можно протестировать.

Ложь.

Тактика — это то, что можно протестировать.

Стратегия — это то, на что вы делаете ставку.

Стратегия — это мучительный выбор того, что вы не будете делать. 3 Это смелое, информированное, но всегда рискованное видение будущего. Это ответ на вопрос «Что, если?».

A/B-тест не может ответить на этот вопрос. Он может ответить только на вопрос «Что лучше: А или Б?».

И пока вы играете в эту игру, вы обречены оставаться в рамках существующих правил. Вы никогда не создадите свои.

Как сказал Рори Сазерленд, вице-председатель Ogilvy, магия в маркетинге часто предпочтительнее логики. A/B-тестирование — это убийца магии. Это триумф бухгалтерского подхода над предпринимательским духом.

Верните молотку его место

Я не призываю вас выбросить A/B-тестирование на свалку. Это отличный молоток.

Но перестаньте им забивать микросхемы.

Используйте его по назначению: для тактической оптимизации.

У вас есть стратегическая гипотеза? Проверили ее качественными исследованиями? Запустили? Отлично. А теперь доводите ее до блеска с помощью тестов.

Тестируйте заголовки в рассылках.

Тестируйте креативы в рекламе.

Тестируйте оформления заказа.

Оптимизируйте машину, которую вы уже построили на основе смелой стратегической ставки. Но не позволяйте инструменту диктовать вам, что строить.

Хватит прятаться за цифрами. Хватит бояться принимать решения.

Хватит оптимизировать свой путь в могилу посредственности.

Начните, блять, строить что-то, что стоит оптимизировать.

Ваш панк-маркетолог, Мари.