Обработка данных в информационных системах чаще всего проводится в три этапа: извлечение, трансформация и загрузка (Extract Transform Load, ETL). В решениях, использующих Big Data, именно с помощью ETL исходные («сырые») данные преобразуются в информацию, пригодную для бизнес-анализа. Однако с увеличением данных и усложнением аналитических задач увеличивается и количество ETL-процессов, которые необходимо планировать, отслеживать и перезапускать в случае сбоев — возникает необходимость в оркестраторе...

Airflow — исторически важный инструмент в экосистеме обработки данных. В нем появилась возможность комбинировать модель строгого направленного ациклического графа (DAG) с гибкостью Python таким образом, чтобы она подходила для широкого спектра вариантов использования. Сегодня многие инженеры по обработке данных работают напрямую со своими коллегами — аналитиками данных. Процессы протекают быстро, динамично и иногда непредсказуемо. Airflow многое сделал правильно, но все-таки он не лишен недостатков...