Apache Airflow — это платформа с открытым исходным кодом для разработки, планирования и мониторинга рабочих процессов. Расширяемая среда Python Airflow позволяет создавать рабочие процессы, связанные практически с любой технологией. Веб-интерфейс помогает управлять состоянием ваших рабочих процессов. Airflow легко мастабируется. Основная характеристика рабочих процессов Airflow заключается в том, что все рабочие процессы определены в коде Python: Взгляните на следующий фрагмент кода: Здесь вы видите: DAG-процесс под названием demo, запускается с 1 января 2022 года один раз в день...

Зачем в Apache AirFlow 3.0 добавлена поддержка Go и как работает этот экспериментальный  SDK: возможности и ограничения разработки и запуска задач на компилируемом языке программирования. Одной из ключевых новинок недавно выпущенного Apache AirFlow 3.0, о котором мы писали здесь, стала его мультиязычность. Теперь фреймворк поддерживает не только Python, но и Typescript, а также Java, Scala и Go. Разумеется, основным языком разработки в ETL-оркестраторе остается Python, однако теперь Airflow позволяет пользователям определять задачи DAG и на других языках...