A/B-тестирование прописывают как эргоферон — при любых недомоганиях, без анализа и рецепта. Суть метода в сравнении двух версий продукта между собой. Например, у вас плохая конверсия в заказ, вы выдвигаете гипотезу, что текст на кнопке повлияет на конверсию. Одним посетителям сайта показываете кнопку с текстом «Купить», другим — «В корзину», собираете данные, сравниваете и выбираете тот вариант, где кликов больше. Вопросов к методу нет, а вот с применением катастрофа.
Первая проблема — нет достаточной выборки для проверки гипотезы. Допустим, на сайт зашел шопоголик и обычный человек. Один накидал товары в корзину, а другой посмотрел и ушел. Каким будет мой вывод? Если я люблю свой сайт, то подумаю, что я красавчик и все делаю верно. А если у меня депрессия, то решу, что все плохо и надо все переделать.
Достаточная выборка — это вероятность того, что тест верно определит разницу между вариантами. Чем меньше пользователей, тем меньше шансов разглядеть отличия в результатах.
Например, чтобы проверить, даст ли новая кнопка прирост конверсии с 2% до 5%, каждый вариант нужно показать минимум 309 928 пользователям, и это при том, что:
а) источники трафика не меняются;
б) внешние факторы не меняются (сезон, скидки, праздники, дни зарплаты и т. д.);
в) учтены все дни недели;
г) учтено время отложенных конверсий.
Чтобы понять, совпадают ли наши желания с возможностями, можно использовать калькулятор размеров выборки: https://tools.driveback.ru/sample-size.html.
Вторая проблема — это статистическая значимость. Ваш вариант-победитель реально лучше или это результат случайности? Опять же, к шопоголикам. В одной выборке у нас шопоголики, а в другой — пенсионеры, вот и случилась разница. Провели через время тот же тест — и силы распределились иначе. Для проверки статистической значимости тоже есть калькуляторы: https://tools.driveback.ru/significance.html.
Запомните и говорите это всем, кто хочет затестить 50 оттенков синего на вашем сайте: А/B-тестирование — это инструмент анализа для сервисов и сайтов с огромной посещаемостью. Нет у вас достаточной выборки, тогда не морочьте себе голову тестами. Есть гипотеза — джаст ду ит. Толковая идея даст заметный рост продаж/обращений, и вы пойдете пить смузи, вместо игры в «найди 5 отличий».
Любой специалист с профильным опытом набросает вам десяток-другой идей, которые если и не сильно увеличат конверсию, то уж точно не помешают. Забудьте про сравнения — просто возьмите и сделайте.
Мой канал в телеграм https://t.me/estkontact