Источник: Nuances of Programming Во второй части проверим наличие корректных данных в таблице Cassandra и коллекции MongoDB. Если они имеются, отправим письмо на электронную почту с информацией об одноразовом пароле OTP, а также сообщение в Slack с информацией об адресе почты и этом пароле в теле сообщения. Часть со Slack нужна для информирования людей на канале Slack, с электронной почтой  —  для указания соответственного адреса почты. В конце создадим Airflow DAG со всеми необходимыми задачами...

Обработка данных в информационных системах чаще всего проводится в три этапа: извлечение, трансформация и загрузка (Extract Transform Load, ETL). В решениях, использующих Big Data, именно с помощью ETL исходные («сырые») данные преобразуются в информацию, пригодную для бизнес-анализа. Однако с увеличением данных и усложнением аналитических задач увеличивается и количество ETL-процессов, которые необходимо планировать, отслеживать и перезапускать в случае сбоев — возникает необходимость в оркестраторе...