Всем привет!
C теорией тестирования креативов для performance мы разбирались в предыдущей заметке. Перейдём к практике тестирования. Тестирование креативов имеет несколько разные задачи, которые зависят от механик.
На этапе охвата (awareness) — это тестирование осведомлённости и проверка результата через и бренд-лифты.
На этапе привлечения (performance) — это тестирование конверсий и конечных метрик (e.g. СAC). Рассмотрим механизм тестирования performance-креативов более подробно.
Ограничения тестирования
Рассмотрим ограничения, которые следует иметь в виду при проведении тестирования.
а.Трафик
Для получения статистически значимых результатов нам потребуется достаточно большое количество трафика. Интересный факт: количество требуемого трафика будет сильно зависеть от разницы конверсий между креативами. Чем сильнее отрыв победителя, тем меньше трафика может потребоваться, и наоборот.
Часто сплит-тестирование креативов становится практически невозможно проводить в малых городах как раз по причине того, что в них не бывает большого количества трафика.
б.Время
Любое тестирование занимает определённое время. При планировании тестирования стоит иметь в виду две лимитирующие стадии:
-Время, затрачиваемое на создание креативов. Это первое бутылочное горлышко, с которым вам придётся столкнуться. Вам придется приложить определённые усилия для того, что ускорить процесс разработки новых креативов. К слову, сама тема оптимизации процесса создания креативов заслуживает отдельного обсуждения.
-Время, затрачиваемое на процесс тестирования. Здесь бутылочным горлышком, прежде всего, служат объемы выкупаемого трафика, рекламные бюджеты и ставка на аукционе.
в.Δ результативности между креативами
Как я говорил выше, чем большее различие в результативности, покажут те или иные креативы, тем меньшее количество трафика вам может потребоваться.
г.Глубина измерений
Количество времени и размер бюджетов также будут сильно зависеть от того, насколько "глубокий" в разрезе воронки KPI вы возьмёте в качестве ориентира.
IPM = CTR x CTI
СlPM = CTR x CTI x CR (order)
д.Сезонный фактор
[картинка]
Например, очень плохо запускать сплит-тест в праздники (E.g. 8 марта, Новый год и etc.).
Как проводить тестирование
Рассмотрим процесс проведения тестирования. Для начала определимся с критериями проведения тестирования.
Количество креативов: 2-5
Почему так: Если у вас меньше двух креативов, то это уже не AБ-тестирование, а если больше пяти, то вам может потребоваться очень много трафика. Либо его может попросту не быть, либо это приведёт к очень долгому процессу тестирования.
От чего зависит: от количества трафика и его стоимости.
Период: 7-14 дней
Почему так: период в 7 дней позволит учесть выходные дни, которые могут влиять на природу довольно большого числа продукта. Период больше 14 дней замедляет процесс имплементации результатов тестирования и, как следствие, улучшение метрик привлечения по тестируемому каналу.
Количество элементов в тестирования: предпочтительно, 1
Почему так: Если вы тестируете больше одного элемента, то не можете сказать, что же конкретно повлияло на результат теста. В качестве тестируемого элемента выступает маркетинговое сообщение или то, что на сленге маркетологов называется "стайлак".
От чего зависит: от трафика и времени. В теории вы можете тестировать комбинации элементов (мультивариантное тестирование), но это опять таки потребует привлечения большего количества ресурсов.
Стат. значимость: 90%-95%
Почему так: для тех, кто никогда не имел дело со сплит-тестированием напомню, что в статистике величину (значение) переменной называют статистически значимой, если мала вероятность случайного возникновения этой или ещё более крайних величин.
Таким образом выбирая такое значение статзначимости, мы, как бы, соглашаемся с тем, в 90-95% случаев, наблюдаемое явление, то есть выигрыш по конверсии, будет выполняться.Пожалуй, это самый холиварный пункт.
Так, например, вы можете встретить мнение, что для рекламны вполне достаточного получить статзначимость в районе 85%, чтобы раскатывать результаты теста на всех пользователей. Можно встретить и иное мнение, что мы обязаны достигать 97% cтатзначимости.
От чего зависит: От того, какой уровень достоверности вы хотите получить и от того, какие ресурсы (временные и финансовые) вы готовы потратить для получения данного уровня значимости.
Запуск теста
После того, как определены основные параметры тестирования, мы запускаем сплит-тест в одной из выбранных рекламных систем. Обратим внимание, что креативы должны тестироваться:
а.на одинаковых таргетингах;
б.в одинаковое время;
в.желательно, на одинаковых (сопоставимых) объемах трафика.
Оценка результатов теста
Оценка результатов теста должна удобно проводить на основании результатов по конверсиям. Некоторые рекламные системы, например, система Facebook, автоматически. В некоторых системах результаты придётся рассчитать самостоятельно.
Сначала рассчитаем стат.значимость. Для этого воспользуемся результатами проведённой рекламной кампании. В самом простом случае нам потребуется количество переходов (кликов) и количество новых клиентов. Так, для этого калькулятора:
Samples — это количество действий на верхнем уровне воронки.
Сonvertions - это количество действий на нижнем уровне воронки.
Видно, что при данных цифрах победитель не определен.
Примеры на два других калькулятора.
Масштабируем результаты тестирования
После того, как результаты прошли проверку на статистическую значимости и по их результатам был выявлен выигравший креатив, вы можете переходить к раскатыванию креатива на "прод". На обычном языке это означает перевод 100% трафика на выигравший креатив.
И на старуху бывает проруха... Поэтому рекомендую после двух недель снять стандартный набор метрик с рекламной кампании и сравнить их с результатами двух недель до запуска креатива-победителя в продакшн.
На всякий случай напоминаю вам наш набор метрик:
СTR и CPC
СTL и CPL
СR и CAC
Стоит иметь в виду, что нынешняя кампания креативом-победителем может проиграть кампании "в прошлом". Почему?
а. Во-первых, потому что мы сохраняем 5% вероятность такого исхода.
б.Во-вторых, креатив работает в постоянно меняющихся условиях.
Следовательно, резкое изменение спроса на рынке, баг в продукте, аномально быстрое выгорание (об этом ниже), взмах крыльев бабочки на противоположном конце Земли, и сочетание всех вышеперечисленных факторов может сделать так, что креатив-победитель окажется побеждённым.
Нужно ли вообще проводить тестирование, если в нём столько нюансов, да ещё и можно в итоге не угадать с победителем?
— спросит читатель, который прочёл предупреждение выше. Даже при условии того, что победитель может проиграть, процесс тестирования нужно проводить и вот почему.
Почему ошибки не страшны?
Ошибки в выявлении победителя в сплит-тестировании не фатальны по следующим причинам:
а.Если при тестировании мы достигаем 90-95%, мы уже сильно снижаем вероятность того, что будем долгое время крутить не тот креатив.
б.Если креатив крутится непродолжительное время, то вероятность резкой смены парадигмы рынка также снижается. (Вспомните, что я рекомендовал не тестировать ничего во время резкой смены рыночного тренда, праздников, etc.)
А теперь следите за руками.
В реальности, даже если мы — маркетологи не хотим, нам приходится менять креативы из-за их "выгорания". Процесс выгорания креативов заслуживает отдельной заметки, но если в двух словах, то процесс выгорания креативов — это постепенное снижение кликабельности (СTR) креатива во времени.
Следовательно, вам придётся периодически обновлять креативы. Следовательно, если креатив победил по ошибке, то его уберут. Если креатив действительно победил, то его всё равно уберут, потому, что он "выгорит" и перестанет быть победителем.
Итого: Вы тестируете креативы, чтобы дать победителю весь трафик с целью охвата и конвертации им максимальной аудитории до наступления сильного "выгорания".
Журнал экспериментов для тестирования креативов
К сожалению, часто бывает, что ценнейшие знания о проведённых экспериментах, либо забываются, либо "уходят" вместе с сотрудниками и всё равно забываются. Чтобы этого не происходило, настоятельно рекомендую вам вести следующую табличку. В ней вы можете фиксировать результаты экспериментов с креативами.
Разумеется, вы можете адаптировать с учётом специфика вашего бизнеса. Рассмотрим поля таблицы.
№ — уникальный номер эксперимента.
ID — уникальный номер креатива. Присваивается новому креативу в вашей базе данных.
Launch date — дата запуска экспериментальной кампании.
End date — дата окончания экспериментальной кампании. По умолчанию берется значение +14 дней от Launch date. Это дата является ориентиром. Фактическое окончание определяется набором статзначимых данных.
Creative link — ccылка на креатив.
Text message — рекламное сообщение, размещённое на креативе.
Creative object — объект(ы), размещённый на креативе. Часто, наряду с Text message является тестируемым элементом.
Creative type (photo/picture) — тип креатива. photo — фотография. picture — картинка.
Colour background — цвет фона.
Channel —рекламный канал, в котором тестируется креатив.
Platform (app/web) — тип платформы, на которую приводится трафик.
App — приложение.
Web — сайт.
GEO (Country/region/city) — геотаргетинг. Геотаргетинг может быть определён, как на уровне страны, так и на уровне области и даже города. Хотя, напоминаю, что в городе достаточно тяжело проводить подобные тесты.
Budget — бюджет, потраченный на проведение эксперимента.
Набор показателей: CTR, CTI(CTL), CR, IPM, CLPM
Завершает всё пункт "Probability to be Best", который показывает статистическую достоверность полученных результатов. В текущий версии "Probability to be Best" не считается в таблице, но вы можете посчитать его с помощью сервисов ссылки, на которые я уже давал.
Таблицу можно получить по ссылке:
Журнал экспериментов для тестирования креативов [ШАБЛОН]
Чтобы воспользоваться таблицей, сохраните её копию себе на Google диск.
Видео vs. баннеры
Обратите внимание, что баннеры и видео разнесены в отдельные таблицы. Сделано это потому, что природа креативов разная, поэтому постоянно сравнивать их между собой не самая хорошая идея.
Тем не менее периодически это стоит делать, чтобы убедиться на какой формат делать ставку. Основная проблема заключается в том, что полностью отказаться от того или иного типа носителей вряд ли получится, так как некоторые места размещения заточены только под один вариант размещения и упускать его было бы неправильно.
Что дальше?
Методология последующих построения следующих гипотез относительно проста. Вы берёте выигрышное сочетанием элементов. Меняете один элемент на другой, и вновь запускаете эксперимент.
Казалось бы, всё очевидно, но при таком подходе через некоторое время вы упрётесь в стену. Менять элементы в одном и том же креативе иногда бывает нецелесообразно по очень большой массе причин. Например, из-за того, что новый тестируемый элемент разрушает композицию.
Что же делать в этом случае?
Иногда сценарий лучше "обрывать". То есть, если вы добились в каком-либо сочетании элементов значимого увеличения конверсии, то возможно самое время резко сменить сценарий.
В этом случае вы, по сути, осознаете новый креатив с нуля. Если визуализировать процесс создания рекламных материалов в рекламной компании, то у нас получится сообразное дереве, каждая ветка которого будет представлять креатив и его разновидности. Каждая новая ветка будет являться новым креативом с новым сценарием. Как раз, в случае запуска новой метки вы можете проводить тесты "баннер vs. видео", о которых я писал выше.
Должен заметить, что вид вашего "дерева" будет сильно зависеть от вашего продукта и рынка, на котором вы продвигаетесь.
Заключение
В двух частях мы рассмотрели теорию и практику процесса тестирования креативов. Также мы ознакомились с узкими местами, которые возникают при проведение тестирования. Не обошли своим внимание и проблемы статистической значимости и влияния внешних факторов.
Успехов в тестах и репрезентативных вам результатов!
______________________________________
Лайк, если заметка оказалась для вас интересной. :)
Подписывайтесь на канал, чтобы не пропустить полезные заметки дл улучшения вашего маркетинга.
P.S. Почему, если ничего не делать, результаты будут только ухудшаться. Читайте в заметке "Правило плохого CTR".
