Как добавить пользовательский код в Apache AirFlow и где его хранить: лучшие практики и рекомендации для дата-инженера с примером создания и импорта своего пакета. Недавно мы писали про сложности управления DAG в многопользовательской среде Apache AirFlow. Однако, даже когда речь идет про однопользовательскую работу в AirFlow, необходимо грамотно управлять конвейерами обработки данных, желательно как кодом. Впрочем, для этого ETL-оркестратора это делается нативно, поскольку DAG представляет собой Python-код или YAML-файл...

Введение Python позволяет нам создавать практически все, от простых скриптов до сложных моделей машинного обучения. Но для работы над любым сложным проектом вам, скорее всего, потребуется использовать или создавать модули. Это строительные блоки сложных проектов. В этой статье мы рассмотрим модули Python, зачем они нам нужны и как мы можем импортировать их в наши файлы Python. Понимание модулей Python В Python модуль - это файл, содержащий определения Python и инструкции. Имя файла - это имя модуля с добавленным суффиксом ...