Argo Workflows реализован как CRD и позволяет описывать многошаговые процессы, где каждый шаг — отдельный контейнер. В отличие от Airflow, он нативно работает в Kubernetes, не требуя отдельной инфраструктуры для планировщика и воркеров. Поддерживает DAG-зависимости, параллельное выполнение, передачу артефактов между шагами и условную логику. Инструмент пригодится для CI/CD, обработки данных и ML-пайплайнов. Он входит в число graduated проектов CNCF и активно используется в production. #machine_learning #airflow #argo #argo_workflows #batch_processing
argoproj/argo-workflows — движок для запуска контейнерных пайплайнов на Kubernetes.
Argo Workflows реализован как CRD и позволяет описывать многошаговые процессы, где каждый шаг — отдельный контейнер. В отличие от Airflow, он нативно работает в Kubernetes, не требуя отдельной инфраструктуры для планировщика и воркеров. Поддерживает DAG-зависимости, параллельное выполнение, передачу артефактов между шагами и условную логику.
Инструмент пригодится для CI/CD, обработки данных и ML-пайплайнов. Он входит в число graduated проектов CNCF и активно используется в production.
#machine_learning #airflow #argo #argo_workflows #batch_processing
