Spring Cloud Data Flow

Модуль Cloud Data Flow необходим приложениям в том случае, если они используют потоковую передачу и пакетную обработку данных. При этом данный фреймворк поддерживает целый спектр уже готовых кейсов обработки данных. Среди них:

• ETL (Extract, Transform, Load);
• потоковая обработка событий;
• прогнозная аналитика.

Основные характеристики модуля

Можно выделить:

• возможность развертывания приложений на платформах Cloud Foundry/Kubernetes;
• наличие готовых приложений для разных сценариев интеграции/обработки данных;
• наличие настраиваемых приложений, которые ориентированы на связующее программное обеспечение либо службы данных;
• возможность использования специального графического редактора, предназначенного для интерактивного построения конвейеров данных, а также для мониторинга метрик посредством Prometheus, Wavefront, Influx DB и прочих систем;
• поддержка REST API для создания/развертывания конвейеров данных, причем есть возможность работы из командной строки;
• для указания, какие именно приложения следует развертывать и как именно подключать входы и выходы предусмотрен простой потоковый конвейер DSL.

Сфера применения

Модуль Cloud Data Flow -- отличное решение при создании конвейеров потоковой обработки данных, к примеру, для пересылки каких-нибудь данных в базу и последующего удобного анализа этих данных.

Как освоить?

Для освоения модуля рекомендуется попробовать создать микросайт средствами Spring Cloud Data Flow. Также вы можете изучить уже существующие примеры использования.

Хотите научиться «выживать» в проектах, где есть Spring, добро пожаловать на специализированный курс в Otus!