Привет! Меня зовут Илья Панков и учусь в Product University (поток март-май 19)
Сегодня я расскажу, как с помощью ML добиваться потрясающих результатов в ваших а/б тестах и улучшать продукт
Кейс 1. Увеличение конверсии на сайте.
Вводные: неважно какой продукт продаем
Допустим, у вас нет маркетолога. Собрались только разработчики. Вы придумали классный, но платный продукт и у вас неизбежно встал вопрос "Как его продавать"?
Ваш одноклассник Петя говорит "Продавайте через Facebook". И вы так и делаете
Дальше приведены цифры. Допустим, они фейковые. История не про цифры
Попытка 0.
Создать рк в facebook ведщую в магазин, где есть продукт / собраться статистику / прослезиться
Потрачено: 4500$ и две недели / Доход 16$ (при стоимости продукта 8$)
Грустно? Да! Идем к маркетологу. Маркетолог говорит "Ну конечно! Вы ведете людей в магазин, а надо на landing page"
Попытка 1.
Заказать Лендинг у дизайнера / создать РК в ФБ на лендинг / Собрать статистику
Потрачено: 6500$ / 96$. Прослезиться
Вы разработчики умные, читаете Морейниса и знаете что есть A/B-тесты.
Попытка 1.1
Заказать Лендинги у дизайнера / создать РК в ФБ на лендинги / Собрать статистику
Потрачено: 6500$ и две недели / Доход: 4600$.
И понимание, что нужно двигаться дальше.
А теперь важный момент, посмотрите, какие лендинги у нас есть
Вопрос: Какой лендинг работал лучше? Правильно, 3-й.
Добавим сюда распределение продаж по времени пользователя и найдем решение. Вы, как разработчики, наверняка, придумаете алгоритм.
Попытка 2
Научиться показывать правильный лендинг в зависимости от времени пользователя.
Создать 6 РК в ФБ, приводящих на разные лендинги. Собрать статистику
Потрачено: 1 500$ и две недели / Доход: 7000$ и понимание, что нужно думать дальше
Я не понимаю, почему еще ни в одном учебнике про это не написано. Что мы делали? Просто показывали пользователи лендинги в зависимости от того, что ему нужно в данный момент времени.
Вопрос: какие еще данные можно спарсить из ФБ?
Пол и возраст / Регион / Список интересов / Местонахождение / Погода / Доход и тд
Сегментов таких данных бесконечно много
Получается алгоритм:
1. Получить данные пользователя
2. Предложить ему одну из N страниц
3. Запомнить произошла ли покупка
4. Если да - показывать эту страницу пользователям похожим на этого
5. Продолжать до бесконечности
Но тут нет ничего нового, это просто метод опорных векторов. Вам, уже не как разработчикам, а как маркетологам, важно понять одно - это очень старая база и здесь почти не нужно физически ничего программировать.
Попытка 3, 4, 5, 6, 7
Научить показывать LP с наибольшей вероятностью ведущей к покупке
Создать 61к РК в ФБ с разными урл (utm)
Собирать, собирать, собирать статистику
Расходы: 11 500$ и две недели / Доход 8400$ и ощущение безграничных возможностей
Что здесь важно: с каждой следующей покупку или НЕ покупкой система работает лучше.
Результат +44% к недельным продажам за первую неделю. Через 3 месяца трехкратный рост к недельным продажам
Если вы сейчас не используете данные о пользователях, то вы очень сильно ограничивайте свой доход. Нужно прямо сейчас сохранить и увеличивать пользовательские данные.
Кейс 2. Предсказываем совершится ли покупка.
С первого кейса прошло 5 лет и перед вами стоят новые задачи. Предсказывать retention и LTV. Для этого нужно научиться работать с оттокм клиентов и вовремя их удержать.
Сейчас неважно, про какой продукт идет речь. Важно понять суть
Важно определить какие данные о пользователе самые важные. Чтобы понять по каким критериям понять, что признак действительно важен для оценки и обучения.
Потом разбиваем пользователей на группы:
1. Купят с большой вероятностью
Купят с обычной вероятностью
Купят с низкой вероятностью
Данные сегментируем и настраиваем на них РК
Группы с большей вероятностью в среднем имеют конверсию в 5 раз выше, чем в среднем по сайту. Дальше повышаем ставки по хорошим группам и снижаем по плохим. Экономим бюджет и получаем больше выручки
Предсказание чека
Важно объединять пользователей в одну группу: с мобильного и с десктопа. То же самое и для пользователя (командировка / семейный отдых). Совершались ли микроконверсии?
Определяем значимость признаков. И проверяем с какой вероятностью случается чек.
Но так не всегда, бывают внутренние и внешние факторы, которые мешают получить результат. Например, сезонность, конкурент с большой РК, криворукие подрядчики.
А еще всегда не хватает данных: нужно собрать, объединить, замэтчить данные и самая большая боль, когда нет KPIи понимания куда и как мы идем.
ВЫВОД КРАТКО
Сначала KPI, потом ML