🔹 Планирование ETL: расписания и зависимости

🔹 Планирование ETL: расписания и зависимости

🔹 Как запускать ETL-пайплайн по расписанию и учитывать зависимости?

🔸 Суть: нужны регулярные запуски, чтобы данные были свежими, и контроль зависимостей, чтобы задачи не перекрывались и не приводили к неконсистентности данных. Без этого — дубли, гонки и неполные загрузки.

🔸 cron — это расписание по времени. Пример: 0 2 * * * запускает в 02:00. Подходит для простой периодичности, но cron не знает о порядке задач и не управляет retry.

🔸 DAG (Directed Acyclic Graph — направленный ацикличный граф) моделирует зависимости между задачами. Airflow использует DAG’ы (или по простому – Даг’и): он ставит задачи в очередь, следит за состоянием, делает ретраи и сенсоры, умеет backfill.

from airflow import DAG

from airflow.operators.bash import BashOperator

from datetime import datetime

with DAG('etl', start_date=datetime(2023,1,1), schedule_interval='0 2 * * *') as dag:

extract = BashOperator(task_id='extract', bash_command='echo extract')

transform = BashOperator(task_id='transform', bash_command='echo transform')

load = BashOperator(task_id='load', bash_command='echo load')

extract >> transform >> load

🔸 Практика: для простых одношаговых задач — cron; для pipeline с зависимостями — Airflow/DAG; задавайте catchup=False и max_active_runs=1, чтобы избежать накладок.

📚 cron для простого расписания, DAG+Airflow для контроля зависимостей и надёжности.

#CODERIKK #Etl #Junior

➡️ Мы в Telegram - Сетке - Дзен

Буду рад вашей реакции здесь⬇️