Облачные хранилища данных значительно упростили информационный ландшафт, создав централизованную платформу, на которой организации могут хранить свои данные и манипулировать ими для использования в аналитике. Однако сейчас многие компании хотят внедрить эти данные в свои отделы, и эта потребность привела к росту практики Reverse ETL.
В этой статье обсудим, что такое Reverse ETL, чем он отличается от ETL, основные варианты использования, которые он поддерживает, и почему это так важно.
Что такое Reverse ETL?
Reverse ETL — это процесс копирования данных из вашего центрального хранилища данных в ваши операционные системы и инструменты SaaS, чтобы ваша команда могла их использовать для побуждения к действию клиентов и персонализации взаимодействия с ними.
Хранилища данных доступны только техническим пользователям, которые знают, как писать SQL запросы. Однако часто именно здесь используются основные показатели по клиентам. Для B2B бизнеса это могут быть такие показатели, как активные рабочие пространства, дата последнего входа в систему, коэффициент оттока, LTV, рейтинг лидов и т.д. Для B2C бизнеса это может включать товары в корзине, недавних покупателей, просмотренные страницы и т.д.
Reverse ETL предназначен для синхронизации этих данных с вашими нижестоящими инструментами, что еще больше повышает ценность хранилища данных. Вместо того, чтобы реагировать на данные по мере их сохранения в инструменте отчетности, Reverse ETL позволяет автоматически передавать данные вашей операционной команде, чтобы они приняли меры.
В чем разница между ETL и Reverse ETL?
Традиционный ETL существует с 1970-х годов, и по большей части конвейеры передачи данных практически не изменились. Для тех, кто не знаком, ETL расшифровывается как extract, transform и load, то есть «извлечь, трансформировать, загрузить».
В то время как традиционные конвейеры ETL представляют собой одностороннюю дверь, используемую для чтения из исходной системы и записи данных в облачное хранилище, обратные конвейеры или Reverse ETL представляют собой полную противоположность. Reverse ETL — это процесс считывания данных из хранилища и записи в операционную систему, такую как инструмент автоматизации маркетинга или рекламная платформа. Оба метода используют пакетную обработку. Хотя эти два метода конвейерной обработки данных звучат очень похоже, существует множество технических различий между ETL и Reverse ETL.
ETL в первую очередь используется для управления аналитикой и объединения разрозненных источников в единое унифицированное представление, в то время как Reverse ETL используется для активации данных. С ETL вы объединяете и загружаете данные в таблицы на основе полей “updated_at”, и если вы допустили ошибку в этом процессе, вы можете просто удалить таблицу в своем хранилище и повторно загрузить данные.
Reverse ETL немного отличается, потому что вы синхронизируете строки данных из вашего хранилища с вашими внутренними системами. Структура данных для объектов и полей в инструменте SaaS гораздо более ограничена по сравнению с хранилищем данных, и вы должны быть осторожны, чтобы случайно не перезаписать данные, потому что в большинстве операционных инструментов нет кнопки отмены или отката.
Кроме того, чтобы избежать ограничений скорости и сбоев синхронизации, вы должны дедуплицировать свои данные и сравнивать значения вашего текущего запроса хранилища с теми, которые вы синхронизировали ранее. С ETL, при записи в хранилище данных, вам не нужно беспокоиться ни о чем из этого, потому что хранилища намного более гибкие.
Подводя итог, можно сказать, что традиционный ETL ориентирован на интеграцию данных и получение данных в хранилище, а Reverse ETL ориентирован на активацию данных и получение данных из хранилища.
Как работает Reverse ETL?
Reverse ETL работает путем запроса к вашему хранилищу и записи результатов этого запроса в нижестоящий инструмент по вашему выбору. Каждый инструмент Reverse ETL состоит из четырех основных компонентов: источников, моделей, синхронизаций и пунктов назначения.
- Источники представляют собой местоположение, в котором хранятся ваши данные. В большинстве случаев это хранилище данных, такое как Snowflake или Google BigQuery.
- Модели состоят из операторов SQL, которые определяют, как будут представлены ваши данные и какие данные вы хотите извлечь из своего источника.
- Синхронизации позволяют вам определить данные из вашей модели и указать, как вы хотите, чтобы эти записи были сопоставлены с соответствующими полями в вашем конечном пункте назначения.
- Пункты назначения включают любое местоположение, куда вы хотите отправить свои исходные данные или где ваши пользователи используют эти данные (например, Salesforce, Google Ads, Iterable, Braze и т.д.).
Reverse ETL является дополнительным слоем поверх вашего существующего хранилища данных, позволяя вам получать доступ ко всем вашим существующим моделям данных и активировать их.
Каждая компания хочет в большей степени ориентироваться на данные. И все же самый сложный вопрос для каждой организации — “Как?". Создание информационных панелей для получения ценной информации — это часть первая, но последняя стадия " возможностей аналитики” заключается в воплощении этой информации в жизнь.
Активация данных
Внедрение средств аналитики обычно рассматривается как проблема людей, но ваше представление о данных может сыграть важную роль. Представьте, что вы B2B компания, пытающаяся выяснить, на каких заказчиках следует сосредоточить свои усилия вашим торговым представителям. В большинстве сценариев ваш аналитик данных будет использовать SQL для получения информации о ценных потенциальных клиентах и представления их в отчете BI.
Проблема в том, что с этими данными нельзя ничего делать, и, к разочарованию вашего аналитика, отчет даже редко открывается. Вместо того, чтобы заставлять аналитиков обучать торговых представителей работе с BI-отчетами, вы могли бы предоставить своим аналитикам возможность вводить оценки потенциальных клиентов из вашего хранилища данных в пользовательское поле в Salesforce. Это именно тот вариант использования, в котором Reverse ETL превосходен.
Хранилища данных
Для многих компаний хранилище становится последним пристанищем для данных. В результате платформа, которая была разработана для устранения разрозненности данных, на самом деле просто превращается в одно хранилище разнородных данных. Поскольку Reverse ETL перемещает данные из хранилища, у вас есть доступ ко всем источникам данных и наборам данных независимо от того, откуда они были получены. Это означает, что ваши сотрудники больше не ограничены данными, хранящимися в их инструментах.
Автоматизация
Reverse ETL не бросается в глаза, но компании сталкиваются с гораздо менее яркими проблемами, когда дело доходит до данных. В каждой организации используется множество ручных запросов:
- Отдел маркетинга хочет синхронизировать список отказавшихся от покупок с Google Ads для ретаргетинга.
- Служба поддержки хочет выполнить поиск учетных записей в Zendesk, подверженных риску блокировки.
- Бухгалтерия хочет, чтобы атрибуты клиента были синхронизированы с NetSuite.
- Финансам требуется файл CSV с данными транзакций для использования в Excel или Google Таблицах.
- Отдел продаж хочет получить доступ к использованию продукта в Salesforce.
- Продакт-менеджеры хотят получать уведомления в Slack, когда клиенты включают определенную функцию.
Чтобы удовлетворить каждый из этих запросов, команда обработки данных должна разработать и поддерживать пользовательскую интеграцию с различными API или вручную загружать специальный CSV-файл для каждого поступающего запроса. Внедрение инструмента Reverse ETL позволяет избежать этих проблем, поскольку данные автоматически выводятся из вашего хранилища. Это означает, что ваша команда по обработке данных может сосредоточиться на более важных задачах, таких как оптимизация затрат на инфраструктуру или получение новых знаний и построение пользовательских моделей данных.
Примеры использования Reverse ETL
Несмотря на то, что Reverse ETL полностью снимает нагрузку с инженерных команд, он также открывает множество вариантов его использования в разных отделах, позволяя извлекать больше пользы из данных.
Отдел маркетинга
Для каждой маркетинговой команды главным приоритетом является возможность выявить, как увеличить коэффициент релевантности на рекламных площадках, оптимизировать рентабельность рекламных расходов (ROAS) и снизить затраты на привлечение клиентов (CAC). С помощью Reverse ETL вы можете определять пользовательские аудитории и синхронизировать их с любым из ваших маркетинговых каналов. Вы также можете использовать те же аудитории в своих маркетинговых кампаниях, чтобы улучшить персонализацию на основе уникальных исторических и поведенческих данных ваших клиентов.
Отделы продаж
Ваша команда продаж хочет и нуждается в доступе к уникальным поведенческим данным и данным об использовании продукта (например, рабочие пространства, дата последнего входа в систему, активные пользователи, просмотры страниц и т.д.). С помощью Reverse ETL вы можете отправлять эти данные непосредственно в свою CRM, чтобы ваш отдел продаж мог иметь целостное представление о вашем клиенте и предпринимать действия в режиме реального времени. Вы также можете использовать Reverse ETL для отправки уведомлений вашим торговым представителям, когда клиенты или пользователи совершают определенные действия с вашим продуктом или в вашем приложении.
Продуктовая команда
Ключом к улучшению вашего продукта и стимулированию внедрения являются эксперименты и оптимизация. Однако, чтобы использовать варианты ориентированные на клиента, вам необходимо синхронизировать данные о клиентах с вашей рабочей базой данных. С помощью Reverse ETL вы можете отправлять атрибуты клиентов в свою рабочую базу данных, чтобы предоставлять индивидуальные услуги, которые будут уникальными для каждого пользователя. Это может быть что-то такое же простое, как отображение платежной информации в вашем приложении или предложение специального купона вашим постоянным клиентам.
Отдел поддержки
Определение приоритетности заявок и сокращение оттока должны быть конечной целью каждой команды по работе с клиентами. Reverse ETL позволяет синхронизировать ключевые показатели, такие как LTV, ARR и коэффициент оттока, с вашим инструментом поддержки, чтобы ваша команда могла расставлять приоритеты для заявок.
Reverse ETL и другие технологии
Reverse ETL ни в коем случае не является новой концепцией. Компании годами пытались активировать свои данные, и многие другие технологии пытались решить эту проблему.
Двухточечные решения (point-to-point)
Технологии интеграционной платформы как услуги (iPaaS) такие как Zapier, Tray, and Workato могут быть хорошим вариантом для решения задач Reverse ETL, поскольку они позволяют отправлять данные с одной платформы на другую.
К сожалению, это создает запутанную сеть конвейеров и сложных рабочих процессов, которые невозможно масштабировать. Если у вас четыре приложения, вы быстро обнаружите, что у вас 16 потенциальных конвейеров (4x4 = 16). Чтобы обеспечить равномерный поток данных, вы должны включить различные зависимости и предложения if / then в каждый рабочий процесс.
Reverse ETL создает подход "Hub-and-Spoke", при котором все данные поступают в единый источник достоверности и из него (например, хранилища данных).
Вы, возможно, знакомы с платформами обработки клиентских данных (CDP). Такие платформы, как Segment, сделали себе имя в мире данных и маркетинга, создав единую платформу, на которой вы можете хранить все данные о своих клиентах и использовать их в различных системах.
Проблема в том, что эти платформы часто имеют доступ только к данным о посещенных пользователем веб-страницах, а получить доступ к первичным данным непросто. CDP работают как отдельная организация, что означает, что они хранят данные за пределами вашей инфраструктуры.
Кроме того, внедрение CDP может занять более года, и это даже без учета времени, необходимого для обучения вашей команды работе с инструментом. Эти платформы также содержат инструкции о том, как можно хранить и моделировать ваши данные, обычно требуя, чтобы все входило в объекты пользователя и учетной записи.
Они также накладывают ограничения на то, как долго вы можете получать доступ к историческим данным, и в конечном итоге вам неизбежно приходится платить за дополнительный уровень хранилища, хотя все данные, необходимые для реализации ваших вариантов использования, ориентированных на клиента, уже изначально хранятся в вашем хранилище данных.
Инструменты Reverse ETL не обременены этими ограничениями, поскольку они работают и интегрируются с вашими существующими инструментами и технологиями. С Reverse ETL вы никогда не сохраняете данные, вы просто считываете из своего хранилища и записываете результаты этого запроса в пункт назначения. Это создает Составную CDP архитектуру поверх существующего хранилища данных, которая обеспечивает повышенную гибкость для уникального решения ваших вариантов использования.
Лучшие инструменты Reverse ETL
Несмотря на то, что существует множество различных инструментов интеграции данных, не так уж много компаний, специализирующихся на Reverse ETL. Вот краткое описание трех ведущих компаний его использующих.
- Hightouch — это платформа Reverse ETL, предназначенная для команд аналитиков и маркетинга. Платформа поддерживает более 150 направлений и интегрируется с различными инструментами обработки данных, такими как dbt, Fivetran, Looker и т.д. Она предлагает контроль версий, оперативный отладчик и оповещения. Для нетехнических пользователей Customer Studio предоставляет опцию no-code, чтобы любые отделы компании могли самостоятельно и детализировано создавать аудитории, используя параметры, установленные вашей командой обработки данных
- Census — это платформа Reverse ETL, которая предлагает ряд функций для перемещения данных из вашего хранилища в различные пункты назначения, но она не такая гибкая, как Hightouch, когда дело касается функций, удобных для разработчиков и маркетологов.
- Segment — это традиционный CDP. Однако недавно компания перешла на Reverse ETL и теперь предлагает возможности, ориентированные в первую очередь на хранилище. Многие функции в конечном итоге тесно связаны с существующими предложениями CDP платформы.
Разрабатывать или покупать
Если вы когда-либо покупали корпоративное программное обеспечение, вы знаете, что всегда есть плюсы и минусы приобретения специализированного решения и создания его собственными силами. Если вы склоняетесь к лагерю “сделай сам”, вам, скорее всего, понадобятся дополнительные ресурсы для инженерии данных(удачи в поиске).
Разработка пользовательских конвейеров Reverse ETL может очень быстро усложниться. Все сторонние API постоянно обновляются и изменяются, поэтому вам придется либо загружать CSV-файлы вручную, либо создавать уникальную интеграцию для каждого инструмента в вашем стеке данных.
Вам также придется отслеживать каждую интеграцию и управлять ею, потому что одно изменение API может нарушить весь поток данных, и это даже не говоря обо всех других факторах, которые вы должны учитывать: аутентификация, пакетирование, ограничения скорости, сопоставление полей, распараллеливание, обработка ошибок, мониторинг и т.д.
Покупка полностью управляемого инструмента Reverse ETL полностью решает все эти проблемы, потому что платформы Reverse ETL берут на себя громоздкую задачу управления интеграциями API. Вместо того, чтобы беспокоиться обо всех проблемах, инструменты Reverse ETL позволяют автоматизировать синхронизацию данных и ее планировать. Они также предоставляют вам визуальный интерфейс, в котором вы можете легко сопоставить поля от источника до места назначения.
Инструменты Reverse ETL являются декларативными, что означает, что вы можете просто указать, как ваши данные должны отображаться в конечном пункте назначения, и вы полностью контролируете частоту выполнения ваших синхронизаций. Reverse ETL устанавливает так называемую архитектуру "пиши один раз, используй где угодно" (WORA), позволяющую отправлять одни и те же данные нескольким адресатам, одновременно управляя всеми вашими синхронизациями на одной центральной платформе.
Заключительные мысли
Reverse ETL решает проблему последней мили в современном стеке данных и раскрывает ценность вашего хранилища данных на протяжении всего жизненного цикла данных. Reverse ETL демократизирует данные, которые когда-то были доступны только вашим техническим пользователям, и гарантирует, что все сотрудники вашей организации имеют доступ к одним и тем же данным о клиенте в ваших нижестоящих системах.
Ссылка на оригинал статьи: https://hightouch.com/blog/reverse-etl?ref=refind