Найти тему
32,6 тыс подписчиков

Настраиваем конфигурацию DAG в Apache Airflow так, чтобы меньше о ней думать


Сбор и обработка данных для биг дата — достаточно трудоёмкая задача. Для этих целей используются загрузчики. И часто бывает, что их параметры не подходят для какой-то небольшой разовой задачи.

Менять готовую конфигурацию опасно, а писать новую с нуля — слишком затратно. Здесь вы узнаете, как упростить этот процесс:

​Настраиваем конфигурацию DAG в Apache Airflow так, чтобы меньше о ней думать  Сбор и обработка данных для биг дата — достаточно трудоёмкая задача. Для этих целей используются загрузчики.
Около минуты