Формулируем задачу
Есть 5 источников данных:
- данные из коллтрекинга по звонкам,
- данные из рекламных систем по расходам (Яндекс и Google),
- данные из Метрики по заявкам и визитам,
- данные из CRM по закрытым сделкам
- Google-Таблица с плановыми данными на ближайший месяц.
Задача: свести данные из 5 источников в одну сводную таблицу, при этом чтобы каждую неделю нажимать кнопку и видеть в таблице свежие данные.
Дедлайн: вчера.
Ищем способы решения
Способ 1: Python + Базы данных
Данное решение является самым надёжным, но не самым простым. Вы выбираете СУБД для хранения данных, разворачиваете базу, составляете скрипты на языке Python, которые забирают данные из каждого источника и размещают их в базе. Далее можно прямо в базе объединить данные и затянуть итоговую таблицу например в Excel.
Звучит достаточно просто. Но несмотря на простоту Python, вам предстоит столкнуться с массой мелочей. И нужно хотя бы немного научиться программировать.
Средняя стоимость курса по Python - около 30-40 тысяч рублей, поэтому если вы не готовы осваивать язык самостоятельно, придётся вкладываться. Добавьте сюда затраты на изучение SQL и специфики выбранной СУБД - расход времени и денег сильно увеличивается.
На всё может уйти от одного до нескольких месяцев, тогда как данные часто нужны клиенту прямо сегодня. Но в целом, если вы осилите данную связку, вы сможете строить серьезные системы данных, которые можно использовать в том числе на больших проектах.
Важно помнить, что знанием SQL и Python тут не ограничится - ведь вы должны уметь построить архитектуру базы данных, правильно развернуть эту архитектуру на сервере и настроить резервное копирование, чтобы не потерять данные.
В целом всё это хорошо, но имеет один большой минус: решение слишком глобальное и слишком долгое. Оно требует знаний нескольких языков программирования и не только их. Таким образом, в дедлайн мы точно не уложимся.
Способ 2: Инструменты Google - Google Data Studio, Google Analytics
Настройка данных инструментов довольно проста, но из-за своей простоты лишена гибкости. Если вам нужно выбирать звонки с определёнными тегами или опредённым образом объединять данные по звонкам и сделкам, данный инструмент может не подойти.
Да, вы можете свести статистику по кампаниям и даже возможно настроите статистику по ключевым фразам. Но со сторонними данными типа данных по CRM или данных из коллтрекинга часто могут возникать трудности интеграций.
Например, если клиент смотрит данные в метрике, вам будет довольно сложно затянуть их в сервисы Google. Также, если речь идёт о выстраивании отчёта по какой-то сложной атрибуции, вам будет не так просто построить его используя данные сервисы.
Справедливо будет отметить, что в Google есть свои продвинутые сервисы для работы с данными - например Google Big Query (СУБД) или Google DataPrep (сервис для очистки и подготовки данных). Но они требуют разбора и изучения, а также не являются бесплатными.
Но в целом бесплатные сервисы Google закрывают довольно широкий пул задач, хоть и имеют мало гибкости.
Способ 3: Платные сервисы сквозной аналитики
У платных сервисов сквозной аналитики есть 2 основных проблемы:
они платные и небезопасные. Вам придётся передать все данные третьим лицам. Но если вас не волнует момент передачи данных, то ежемесячная плата волнует каждого.
Любой сервис должен вести поддержку и исправлять внутренние ошибки. Это требует времени менеджеров и программистов. Стоимость платных сервисов сквозной аналитики начинается от нескольких тысяч рублей и зависит от уровня и особенностей сервиса.
Из плюсов можно отметить клиентоориентированность.
А также качественное решение базовых задач клиента.
Но помимо базовых задач, всегда существуют индивидуальные специфические задачи. Далеко не каждый сервис может помочь в решении таких задач, так как он ограничен своим текущим функционалом и бережет время программистов.
В целом такие сервисы - очень хорошее решение, если у вас:
1) типовые задачи,
2) есть деньги,
3) нет желания и времени разбираться с другими инструментами.
Способ 4: Power Query (в составе Excel или Power BI)
Power Query - один из самых простых и понятных новичкам инструментов. Кроме того, он бесплатный и давно входит в состав Microsoft Excel, а также есть в любой версии Power BI Desktop.
Power Query имеет возможность обращения к любым сайтам и API. Вы можете забирать данные как из открытых источников, так и из различных сервисов через API.
Power Query даёт невероятную гибкость в плане работы с данными, позволяя делать любые преобразования и объединения данных. И всё это доступно даже новичкам. Язык Power Query Formula Language специально создан для работы с таблицами. Поэтому он лучше всего подходит для задач по преобразованию и сведению табличных данных.
Ну и конечно вы получаете данные либо в привычный и удобный Excel, либо в Power BI, где можете моментально их визуализировать.
Подведём итоги
Если рассматривать инструменты с точки зрения:
- безопасности хранения данных,
- времени и стоимости обучения работе с инструментом,
- гибкости в решении задач сведения данных,
- пользы в решении сторонних задач (например ваши личные задачи),
следующая таблица наиболее точно отражает плюсы и минусы всех перечисленных инструментов:
Специально для вас мы подготовили развёрнутый курс по наиболее интересному инструменту сведения данных - Power Query.
Этот курс для новичков. Общих знаний по базовым рекламным инструментам и сервисам аналитики вполне достаточно для его прохождения.
Подробно ознакомиться с содержанием курса можно на сайте:
https://directprorf.getcourse.ru/pq/
Канал на YouTube о Power BI: PRO Power BI
Ответы на любые вопросы по Power BI: t.me/PBI_Rus
Свежие новости и статьи в телеграме: t.me/pro_powerbi
Свежие новости и статьи в Facebook: facebook.com/propowerbi
