Dagster или Airflow: что выбрать для оркестрации в DWH-проектах?
Перед аналитикой данные из корпоративных систем необходимо превратить в информацию,пригодную для бизнес-анализа: Вместе эти три процесса называются ETL (Extract, Transform, Load). Для реализации ETL-процессов на рынке существует готовое ПО, однако оно не всегда может отвечать потребностям проекта.
При проектировании масштабных решений, например, корпоративных хранилищ данных, а также при необходимости встроить аналитические инструменты в имеющуюся сложную инфраструктуру Big Data, дата-инженеры обычно создают собственные конвейеры обработки данных - пайплайны...