Прежде чем прочитать статью - хочу заметить, что я описываю сплит-тестирование именно на примере проверки гипотезы на сайте. Вы можете применять как HADI-циклы, так и Split-тестирование на своем локальном бизнесе, проверяя и применяя различные техники продаж\психологии и т.д.
В одной из моих предыдущих статей я рассказал вам про общую методологию построения и проверки гипотез.
Но как правильно проверить каждую гипотезу?
Первое, что приходит в голову - сравнить показатели до изменений и после.
Но эффективность данной проверки будет низкой - разные даты проверки, а следовательно разное количество пользователей\разный трафик\другое положение луны и т.д. Этот способ неэффективен как минимум потому, что запись показателей происходят не в одно и тоже время и невозможно предсказать, что именно повлияло на изменение в поведении пользователей - наши изменения или что-либо еще.
Единственный вывод - проверять показатели в разное время - не самое рациональное решение.
И как же нам поможет сплит-тестирование?
Вся суть сплит-тестирования сводится к случайному разделению пользователей\клиентов на несколько равных групп, после чего каждой группе показываем разные версии сайта (с применением гипотезы и без неё). Далее просто смотрим на разницу в показателях, которые мы измеряли (конверсия\просмотры\клики) и определяем эффективность конкретной гипотезы.
Этот способ позволяет не беспокоится о том, что измерения происходили в разное время и результаты могут отличаться из-за чего-либо еще, кроме как применения нашей гипотезы, т.к. пользователи из одних и тех же каналов привлечения попадают на разные версии сайта в одно и тоже время.
Сложно? Давайте рассмотрим простой пример
У нас есть сайт со средней конверсией 1.2% ( кол-во заявок \ все пользователи = конверсия).
У нас появилась гипотеза, что если мы изменим заголовок на сайте, то конверсия сайта непременно вырастет.
Мы берем небольшую часть посетителей нашего сайта (10%) и делим её на две группы. Одной группе показываем версию сайта A, без применения гипотезы, а другой группе версию сайта B, с применением гипотезы.
Такое разделение на две равные группы называется A\B-тестированием.
Единственное, на что необходимо обратить внимание - это то, что брать небольшой процент всех пользователей ради тестирования (а не всех сразу) стоит только в том случае, если у вас очень крупный проект с огромным количеством посетителей и брать большую часть - просто может быть опасно для бизнеса и прибыли. Если у вас небольшой сайт с количеством просмотров не больше 1000 посетителей в сутки - можно смело брать на тестирование больший процент пользователей, или даже 100% всех пользователей.
Далее, через определенный промежуток времени проверяем результаты.
Время, которое необходимо ждать зависит от количества пользователей и разницы в показателей разных групп.
Так, суммарно при 1000 пользователях разница в 2% - явный прогресс. Но те же 2% при 100 пользователях уже могут быть статистической погрешностью.
A\B-тестирование - это основной вид сплит-тестирования, который применяется практически везде и всеми.
A\A\B-тестирование
При достаточном количестве посетителей на вашем сайте вы можете применять различные вариации сплит-тестирования и разбивать на разное количество групп, для большей уверенности в результате.
Так, одним из способов "стопроцентно" убедиться в том, что гипотеза верна - разделить входящих пользователей не на две, а на три группы.
Первым двум группам показывать старую версию сайта, а третьей группе - новую. Таким образом мы увидим более точную корреляцию показателей и можем быть еще больше уверены в полученных результатах. Это и называется A\A\B-тестирование. Дальше простор для творчества очевиден, вроде A\A\A\B, A\A\B\C и т.п.