Найти в Дзене
Эволюция А/Б тестов, часть 3
Помните в первой части я обыграл заголовок «Они смеялись когда я сел за пианино…»? Сегодня — про его автора 👀 Продолжаем серию про эволюцию А/Б тестов. Хопкинс в 1907 изобрёл сам подход. Фишер в 1919–1935 дал методологию. А теперь — Джон Кейплс, копирайтер, который превратил А/Б тесты в индустриальный конвейер. Как Кейплс попал в индустрию 1925 год, Нью-Йорк, агентство Ruthrauff & Ryan. Первый день начинающего копирайтера Джона Кейплса. Его босс Ev Grady кладёт на стол две стопки старых реклам — выигравшие и провалившиеся, изучай...
4 дня назад
А/Б тест никогда не даст вам 100% уверенности
Никогда. Сейчас на примере графика покажу почему 👀 Довольно часто получаю следующие вопросы по поводу статистики: — а сколько нужно показов / кликов / корзин чтобы прям точно? — "у меня в А/Б тесте вероятность победителя 90% — это значит точно победил, можно ставить?". А что если 99%? А 99,95%? — или недавно такой: "у меня в тесте 90% вероятности было, в зеленой зоне, а потом откатилось в красную на 77%, как так?" Короткий ответ: даже 99,9999% — это не гарантия. Никаких 100% в А/Б не бывает, и сейчас покажу почему...
5 дней назад
Эволюция А/Б тестов, часть 2
В прошлой части — про Клода Хопкинса, рекламиста, который изобрёл А/Б на купонах в 1907 году. Сегодня — параллельная история, в Англии на сельхоз-станции Rothamsted статистик Рональд Фишер занимался совсем другим — превращал «эксперимент» в науку с правилами. Хопкинс — папа практики А/Б, Фишер — папа методологии. Без него «вероятность победителя 96%» в А/Б инструментах не существовала бы. Кейс 1: Картошка в Rothamsted, 1919–1924 Британская сельхоз-станция сравнивает удобрения на картошке с 1852 года...
6 дней назад
Они смеялись когда я запустил первый А/Б тест
Они смеялись когда я запустил первый А/Б тест. Но когда увидели результаты… 👀 Задокументированные А/Б тесты начались более 100 лет назад — с человека по имени Клод Хопкинс, копирайтер из Чикаго. Задолго до digital, Google и маркетплейсов. На рекламе пива в 1907 году. Запускаю серию про эволюцию А/Б тестов. Сегодня — целиком про Хопкинса: два легендарных кейса и книга, которую Огилви называет Библией рекламы. Кейс 1: Schlitz, 1907 Пивоварня Schlitz в яме — болтается на 5-м месте по продажам в США...
2 недели назад
О чем говорят поисковые запросы в А/Б тестах
? 14 мая мы выпустили новый отчет по поисковым запросам в аб тестах, вот пост об этом 15 мая я запустил 5 тестов с новой аналитикой и уже сейчас видно что слова на главном слайде очень влияют на конверсии по конкретным запросам. Уже сейчас стало очевидно что даже НЕ фокусное слово на главном имеет влияние на 1-2% в CTR, а иногда и больше… Причем основной CTR% почти не меняется, меняется распределение CTR% по запросам...
2 недели назад
Рекомендательная система в А/Б тестах выпущена
Что уже реализовано и что она дает? — рекомендует когда отключить вариант из ротации (да, слабый вариант можно отключить из ротации) — не даст сделать преждевременные выводы на малой выборке, затемняет данные если выборка недостаточна — подскажет сколько еще нужно показов для уверенных выводов — подскажет % вероятности победителя на текущей выборке Скоро: — добавим возможность отключать слабые варианты АВТОМАТИЧЕСКИ, при достижении достаточной вероятности — завершать тест автоматически, при достижении...
2 недели назад
CTR +55% за один прием
Коллеги деляться как выращивают CTR одним приемом Андрей продает косметику для волос и увидел что у топового конкурента на главном изображении есть локоны, и решил протестировать гипотезу, в нейросети добавил локоны и запустил тест Результат: рост CTR на ~55% В чем идея? - ищем...
2 недели назад
Отзыв о рекомендательной системе в А/Б тестах
👀 РОП бренда косметики для обуви Protect RM делится: просто ВАУ, можно завершить тест, круто доработали 🥰 На скрине: — вероятность, что вариант №2 лучше — 96.32% — p-value: 0.0368 — система прямо говорит: тест можно завершить и ставить победителя Но тут хочется пойти дальше. Сделать не просто рекомендации, а автоматическое управление тестом: — завершать тест при достижении, например, 90% вероятности победителя — при достижении порога...
2 недели назад
Первый реальный A/B тест с аналитикой по запросам
👀 Ну почти реальный, тестировали 2 одинаковых изображения. И вот почему: • во-первых — так быстрее; • во-вторых — так можно понять, как быстро наступает точка “достоверности”. Да, конечно, на одном тесте это ещё очень далеко от истины. Но с чего-то же нужно начинать 🙂 Что интересно: чем меньше показов/кликов по запросу — тем сильнее разброс CTR%. 💡 Для хоть каких-то минимальных выводов по отдельному запросу: нужно хотя бы ~1000 показов на вариант. И то — это ещё не гарантия достоверности...
2 недели назад
A/B тесты уже никогда не будут прежними - отчет о поисковых запросах уже доступен
Теперь поисковые запросы привязаны к КОНКРЕТНОМУ изображению внутри теста. То есть теперь мы сравниваем не просто: “у какой картинки CTR выше” а: какое изображение лучше работает по КОНКРЕТНОМУ запросу. Например: • это изображение лучше кликают по запросу «краска для мебели»; • а другое — по «меловая краска для мебели»; • третье может внезапно лучше зайти по «краска для дерева». И вот тут начинается самое интересное. Потому что запросы: • имеют разную частотность; • разную конкуренцию; • разный...
2 недели назад
Как скачать 2500 отзывов за 60 секунд с любой карточки на Озон
Как скачать 2500 отзывов за 60 секунд с любой карточки на Озон? Теперь можно: — качать до 3000 отзывов за один раз — качать с 10-ти карточек подряд по 3000 отзывов и не ловить ошибок — и все это теперь буквально за 60 секунд! и да, старые ошибки скачивания отзывов исправили! смотерть видео -> https://dzen.ru/video/watch/6a0d2b845f765c4679ad4380 Обновите расширение Seller Helper и тоже сможете качать отзывы почти мгновенно и без ошибок! как обновить в хром/Яндекс: 1...
2 недели назад
Товары с рекламным продвижением массово потеряли сводную оценку, баг или фича
? Массовое падение сводной у большинства товаров, при наличии платного продвижения, наблюдается с 13 февраля на товарах с включенной кликовой рекламой картина одна - сводная на дне. Озон понижает важность...
3 месяца назад