В рамках нашей новой статьи рассмотрим один из популярных инструментов ETL подготовки данных Airflow для аналитической базы данных ClickHouse. Давайте начнем с того, что разберем, что же это за такие инструменты ClickHouse и Airflow и зачем может понадобиться их использовать вместе. Что такое ClickHouse и зачем он нужен? ClickHouse – это распределенная аналитическая колоночная СУБД, разработанная Яндексом. Ее отличительной особенностью является эффективное выполнение сложных аналитических запросов на больших объемах данных...

Apache Airflow - это платформа управления рабочими процессами с открытым исходным кодом для конвейеров обработки данных. В Airbnb оно началось в октябре 2014 года [1] как решение для управления все более сложными рабочими процессами компании. Создание Airflow позволило Airbnb программно создавать и планировать рабочие процессы, а также отслеживать их через встроенный пользовательский интерфейс Airflow . [2] [3] С самого начала проект был открыт с открытым исходным кодом, став проектом Apache Incubator в марте 2016 года и проектом верхнего уровня Apache Software Foundation в январе 2019 года...