По какой логике создавать DAGи и делить их между собой?
На практике без опыта может возникнуть желание объединить все процессы обновления данных в рамках одного DAG, чтобы не плодить множество разных.
Но если копнуть глубже, то к задаче формирования DAG нужно подходить внимательно
1. Каждый DAG имеет свое расписание запуска. Если нужно разное расписание или частота запуска, тогда нужны разные DAGи
2. Объединение множества задач в один DAG может быть критичным, когда нам нужно остановить часть задач, а остальные оставить работать. Так сделать не получится, только переписывать DAG
3. В рамках обновления витрин удобно создавать отдельные DAG с разным расписанием, чтобы равномерно распределять нагрузку на кластер DWH и избавиться от пиковых нагрузок в одно время
#вопрос_от_ученика
