Как с помощью парсинга по ключевым словам и категориям на маркетплейсах и в онлайн-магазинах мы настроили сбор аналитики и расчет доли в поисковой выдаче (Share in Search) и доли на полке (Share of Shelf) для бренда и как это повысило качество управления продажами и продвижением в онлайн каналах продаж. А также вывели аналитику на онлайн дашборд.
Клиент
Хотим обратить внимание на то, что мы работаем в соответствии с Соглашением о неразглашении (NDA) с нашими партнерами и клиентами. Поэтому мы обязаны соблюдать конфиденциальность, и не всегда можем раскрыть название компании и некоторые детали, связанные с нашим сотрудничеством. Соблюдение NDA является нашим приоритетом, чтобы защитить интересы и конфиденциальность наших деловых партнеров и клиентов.
Наш заказчик является одним из крупнейших мировых производителей и поставщиков кондитерской продукции.
Бренд был основан в начале 20-го века, и на данный момент насчитывает более 150 тысяч сотрудников в своём штате. Ежегодный оборот этой компании находится в районе 40 млрд долларов.
Товары этой компании продаются практически во всех странах мира, включая Россию. В ассортименте бренда, помимо кондитерских изделий, ещё есть различные безалкогольные напитки, корма для животных, продукты питания и жвачки.
Цель проекта
Для заказчика настроить свою собственную независимую аналитику по мониторингу важных для бренда метрик - Share in Search (SIS) и Share of Shelf (SOS) в ключевых онлайн магазинах, среди которых OZON, Wildberries, Яндекс Маркет, Купер, Яндекс Лавка, Лента, Магнит, Самокат, Пятерочка, Перекресток, МегаМаркет.
По этим метрикам бренд оценивает качество своего присутствия и продвижения товаров на онлайн полках в ключевых клиентах (маркетплейсы и ритейлеры), а также корректирует дальнейшие маркетинговые шаги.
В также важной целью проекта было начать получать аналогичные данные по конкурентам бренда - Share in Search (SIS) и Share of Shelf (SOS) и сравнивать со своими показателями.
Задачи
- Научиться парсить необходимые данные из большого числа онлайн-магазинов.
- Успешно обходить все виды блокировок при парсинге, чтобы сбор данных был стабильным и не прерывался.
- Настроить парсинг данных одновременно с двух платформ магазина - web сайт и мобильное приложение.
- Настроить расчет доли в поисковой выдаче (Share In Search)
- Настроить расчет доли на полке (Share of Shelf)
- Выделять признак продвижения в карточке по тому магазину, где это возможно (на текущий момент эта опция возможна на Wildberries)
- Настроить вывод данных на аналитический дашборд
Реализация
Как настраивали парсинг магазинов
Сначала мы получили необходимые вводные от заказчика:
- Список маркетплейсов и онлайн-магазинов - 11 источников, для каждого 2 платформы (web сайт и мобильное приложение).
- Список ключевых слов и фраз для сбора списков товаров по ним и расчета Share in Search(SIS) - порядка 50 ключей.
- Ограничение числа товаров в выдаче - 100, это нужно для того, чтобы оценивать показатели SIS и SOS среди ТОП 100 товаров выдачи, которые, как правило, дают основную долю продаж.
- Географию - 5 городов (для оценки и анализа выдачи в разных ГЕО).
- Список категорий по каждому магазину для оценки Share if Shelf (SOS) - в среднем 2-3 категории (в которых присутствуют товары бренда) по каждому магазину.
- Частота сбора данных - 3 раза в сутки.
Все эти параметры важны и нужны для правильной настройки логики парсинга.
Как всегда, мы совместно с заказчиком определили какие данные должны собираться в парсинге, чтобы получать нужную аналитику:
- Тип сбора поиск / категория
- Дата сбора
- Час сбора
- Признак карточки с продвижением да/нет (для Wildberries)
- Название товара
- Название категории
- Название источника
- Бренд
- Поисковый запрос (для сбора по ключевым запросам)
- Название продавца
- Позиция в выдаче
- Платформа WEB/APP
- Город
На основе полученных вводных мы запустили процесс настройки парсинга. На настройку каждого источника требовалось примерно 2 дня, с некоторыми источниками были трудности, но это все решаемые вопросы. Таким образом, уже через несколько дней старта проекта начали собираться аналитические данные, и каждый день к сбору добавлялись 1-2 источника.
Заказчик решил что ему обязательно нужны данные для сравнения поисковой выдачи с WEB и мобильного приложения, чтобы учесть эту разницу если она есть. Хотя исходя из нашего опыта, мы как правило не видим разницы между данными с WEB магазина или мобильного приложения.
Итого нашей команде потребовалось порядка 2 недель для настройки сбора данных с каждого магазина на одной платформе WEB, а следом донастроили сбор с мобильного приложения. То есть настройка сбора аналитики всего согласно ТЗ заняла примерно 1 календарный месяц.
В итоге мы построили фундамент всего проекта - регулярный сбор качественных сырых данных, на основе которых строится вся аналитика.
Поскольку данных много (миллионы строк данных в месяц), то мы всегда ставим проект на автоматический мониторинг - оценивается полнота собранных данных, анализ отклонений и подсветка проблем. Это позволяет нам эффективно контролировать ход проекта и быстро реагировать на возникающие проблемы, такие как, блокировки прокси, изменения кода страниц на сайте или в приложении, что влечет, как правило, сбой в сборе данных. По опыту, в среднем все сбои решаются в течение 1-2 дней, иногда достаточно несколько часов.
Как настраивали аналитику
Далее мы взялись за настройку нужной заказчику аналитики. К собранным данным применили формулы расчета нужных метрик:
- Share in Search(SIS) = <кол-во товаров клиента в поисково выдаче среди первых 100> / <100 товаров в поисковой выдаче>
- Share if Shelf (SOS) = <кол-во товаров в выдаче в категории среди первых 100> / 100 товаров в категорийной выдаче>
Соответственно, для каждого сбора теперь есть значения метрик, то есть по каждому ключевому слову внутри каждого магазина мы имеем точное значение SIS и SOS.
Забегая вперед покажу как это выглядит на дашборде: для каждого запроса в динамике отображается среднее значение SIS на каждый день с учетом 3 замеров в сутки.
В рамках проекта сырые данные для анализа были всегда доступны в нашей базе Clickhouse для заказчика.
Но все расчетные метрики мы выводили на дашборд.
Как настраивали дашборд
После настройки расчета SIS и SOS мы приступили к настройке дашборда на базе нашей платформы ECOMRU. Поскольку платформа является нашей собственной разработкой, то мы настроили первичный дашборд буквально за 2-3 дня.
Собранные данные можно смотреть в целом наборе разрезов:
- По ключевым словам
- По брендам
- По категориям
- По товарам
- По адресам
- По устройствам
А также применять фильтры
- Источник (конкретный онлайн магазин или маркетплейс)
- Бренд
- Категория
- Ключевое слово
- Город
- Устройство (web или мобильное приложение)
Заказчику было важно смотреть данные под разными углами для более детальной оценки и анализа. Наш дашборд позволил вывести на панель нужные данные и работать с ними в удобном формате.
Результаты
- Проект дал возможность заказчику увидеть то что было недоступно - практически в реальном времени оценивать и анализировать показатели SIS и SOS не только по своим брендам, но и брендам конкурентов.
- Поставить KPI по SIS и SOS и четко их отслеживать.
- Аналитика дала возможность оценивать тренды и выявлять проблемы, быстрее реагировать в разрезе бренд/категория/магазин/товары.
Если вы хотите также, как и наши клиенты получать свежие и точные данные, смотреть аналитику и применять её для повышения эффективность своего бизнеса, то оставляйте заявку на бесплатную консультацию с нашим специалистом и мы поможем вам.