Airflow — исторически важный инструмент в экосистеме обработки данных. В нем появилась возможность комбинировать модель строгого направленного ациклического графа (DAG) с гибкостью Python таким образом, чтобы она подходила для широкого спектра вариантов использования. Сегодня многие инженеры по обработке данных работают напрямую со своими коллегами — аналитиками данных. Процессы протекают быстро, динамично и иногда непредсказуемо. Airflow многое сделал правильно, но все-таки он не лишен недостатков...

Зачем в Apache AirFlow 3.0 добавлена поддержка Go и как работает этот экспериментальный  SDK: возможности и ограничения разработки и запуска задач на компилируемом языке программирования. Одной из ключевых новинок недавно выпущенного Apache AirFlow 3.0, о котором мы писали здесь, стала его мультиязычность. Теперь фреймворк поддерживает не только Python, но и Typescript, а также Java, Scala и Go. Разумеется, основным языком разработки в ETL-оркестраторе остается Python, однако теперь Airflow позволяет пользователям определять задачи DAG и на других языках...