Егор Попов, ведущий разработчик хранилищ данных, и Никита Целищев, инженер по данным сети ресторанов Rostic’s, рассказывают о влиянии проекта реорганизации платформы работы с данными и открывающихся возможностях для бизнеса.Открытые системы
Изначально загрузка данных строилась согласно классическому ETL-подходу с использованием самописного Python-фреймворка на основе PySpark и SQL UDF (user-defined function) для загрузки слоев внутри хранилища данных.Открытые системы
Правами на бренд владеет компания «Юнирест», выполняющая ряд бизнес-функций, включая финансовое планирование, маркетинг, HR, управление поставками и пр. Эффективность всех подобных процессов непосредственно зависит от качества данных.Открытые системы
От концепции пакетной загрузки мы перешли на CDC (Change Data Capture — «захват изменения данных») — механизм загрузки данных, при котором учитываются только измененные данные и нет необходимости отправлять прямые SQL-запросы в базы данных.Открытые системы