Зачем нужны АБ тесты в рассылках?
Если вы смотрели сериал "Фарго", то помните дисклеймер
Это реальная история. События, о которых рассказывается в сериале, произошлив Миннесоте в [2006; 1979; 2010] году. По просьбе выживших имена персонажей были изменены. Из уважения к погибшим всё показано так, как было на самом деле".
Прошу применять этот дисклеймер к моим кейсам.
Среди прочих услуг нашей небольшой компании значится "имеил рассылка по нашей базе". До моего прихода в контору рассылку мы делали по всей базе без особого таргетинга и без АБ тестов заголовков. Сейчас рассылки с более или менее похожей тематикой мы делаем в рамках тестов и фиксируем результаты рассылки.
Например: товарное предложение с размером скидки. Можно протестировать несколько вариантов заголовков: Тест А Велопарад в Москве - скидка 20% на все велосипеды Тест Б "Скидка 20% на все велосипеды - все на велопарад в Москве!". В этой рассылке Тест А показал процент открываемости письма (open rate или OR) на уровне 2,6%, а Тест Б: 2,4% Таргетинг был один и тот же, количество отправленных писем одинаковое. Среди маркетологов разных мастей бытует мнение, что размер скидки в начале заголовка даст высокий OR. Не говорю, что это не так, но результаты теста показали обратное. Мы также можем протестировать цвет кнопки в тексте письма. Этот маленький тест нацелен на небольшое повышение кликабельности. В Тесте А мы использовали красную кнопку, в Тест Б зеленую. Результаты: Тест А - 0.2%, Тест Б - 0,1% Какую информацию мы получили из этих тестов? Пользователи лучше воспринимают большие события в начале заголовка нежели размер скидки и второй вывод, как ни странно, красная кнопка привлекает внимание. Может дело в дизайне самого письма, но в конкретно нашем случае красный цвет выиграл.
Поделюсь еще одним кейсом со словом "Подарок" в теме письма.
АБС тест
А - Получите в подарок мировой бестселлер.
Б - Дарим Вам мировой бестселлер.
С - "smile" Подарок!
Результаты
А - OR 3,7%
B - OR 4,2%
C - OR 6%
Такие дела, меньше пустых слов выше открываемость письма.
При АБ тестах обращайте внимание на аудиторию. Для правдивого результата необходимо брать аудитории с одними параметрами. Например: пользователи, которые ни разу не открыли письмо за последний месяц, пользователи, которые добавлены в базу за последние 7 дней и получили менее 2 рекламных рассылок итд итп.
В тоже время вы должны четко понимать зачем делаете АБ тест и какие причинно следственные связи хотите найти из результатов теста иначе это превратится в задачу для дизайнера "Макс, еб@ни красненьким!" Именно так дизайнеры воспринимают задачи с тестом цвета кнопки.
Я указал довольно простенькие АБ тесты с очевидной причинно-следственно связью. Можно тестировать все и вся только главное понимать зачем это надо делать.