Представьте: вы теряете телефон. Сердце замирает. Вы вспоминаете все фото с отпуска, переписки с близкими, важные документы… А потом вспоминаете: «О, всё в облаке». И тут же чувствуете облегчение. Как будто потеряли кошелёк, но деньги остались в банке. Удобно? Безусловно. Но задумывались ли вы, что это самое облако, которое спасает нас от потерь, постепенно стирает в нас чувство ценности? Когда-то мы бережно хранили каждую фотографию, каждый документ, каждый файл. Мы давали им имя, раскладывали по папкам, делали резервные копии на дискеты, диски и флешки...

Обработка данных в информационных системах чаще всего проводится в три этапа: извлечение, трансформация и загрузка (Extract Transform Load, ETL). В решениях, использующих Big Data, именно с помощью ETL исходные («сырые») данные преобразуются в информацию, пригодную для бизнес-анализа. Однако с увеличением данных и усложнением аналитических задач увеличивается и количество ETL-процессов, которые необходимо планировать, отслеживать и перезапускать в случае сбоев — возникает необходимость в оркестраторе...