Оркестратор Apache Airflow: что это и как используется в BI и DWH
При подготовке аналитической отчетности данные проходят несколько этапов: Извлечение из источников → Загрузка в DWH → Очистка и трансформация → Формирование витрин → Визуализация в BI Каждый этап может включать несколько операций. Например, необходимо дождаться загрузки данных из 1С и CRM, проверить их корректность, обновить таблицы корпоративного хранилища, выполнить dbt-модели и только после этого обновить дашборды. При этом задачи выполняются с разной периодичностью и зависят друг от друга, поэтому...