Эту мантру я повторяю на каждом из своих воркшопов по уровням работы с конверсией. Суть в том, что слабые гипотезы при условно идентичной вероятности успеха несут в себе низкий прогнозный аплифт. То есть ROI у таких гипотез такой себе. Расти на них невозможно. Денис Мартынцев из @growhorse разложил сей постулат буквально по полочкам: Если конверсию в 10% вы хотите увеличить на 30%, то есть довести до 13%, вам понадобится 1629 пользователей в каждой группе теста. Если вариантов два, то нужно 3258 пользователей. Легко считается на калькуляторе.
У ранних продуктов стат значимость либо будет набираться месяцами, либо понадобятся дополнительные тысячи $ на трафик.
Поэтому проверять надо гипотезы, способные давать кратный рост конверсий.
Что это за гипотезы и где их взять? Все очень просто, то есть, сложно.
Кратный рост могут давать гипотезы, предполагающие радикальные изменения. Вместо переверстки блока с отзывами на лендинге сделать полностью новый лендинг с другой структурой, другим н