Что такое A/B-тестирование мобильного приложения
Процесс создания мобильного приложения долгий и трудоемкий и не всегда удаётся угадать реакцию целевой аудитории на обновления функционала или дизайна части мобильного приложения. Конечно ни кому не хочется рисковать репутацией и конверсией выпуска обновления, когда не уверен в положительной реакции на него. Можно конечно, провести тестирование с использованием фокус-групп, это конечно потребует времени и затрат, и такие проверки возможно будут нужны достаточно часто. Поэтому для подобных случаев и существует А/В тестирования.
Как проводится А/В тестирование
Для начала разработчику приложения необходимо реализовать возможность случайным образом отображать вариант программы А или В. Далее разрабатывается тестовый образец с новым функционалом или дизайном. Этот образец приложения и называют вариант В.
Следующим шагом определяется процент тех пользователей которым будет отображаться тестовый образец программы. Стоит помнить о том, что чем радикальнее и неожиданнее изменение, тем меньше процент пользователей должен его видеть. Если же отличии между вариантами А и В незначительные, (к примеру отличие заключается в дизайне нескольких элементов) тогда процент пользователей которые увидят образец программы В может доходить до 50%. Когда процент пользователей определён, запускайте отображения тестового образца приложения и начинайте собирать статистику. Не торопитесь, уделите накоплению данных достаточно времени если хотите чтобы результаты статистических замеров были объективны.
Когда накопите достаточный объём данных можно приступить к их анализу. Если результат анализа покажет, что тестовый образец В значительно увеличил конверсию приложения, то можете сразу делать тестируемый образец основной версией приложения. Но не торопитесь, проанализируйте, возможно в некоторых группах пользователей конверсия наоборот уменьшилась. Возможно это группы определённой возрастной категории или живущие на какой нибудь определённой территории. И если вы нашли подобные проседания, стоит подумать как этого избежать.