Был выпущен Apache Hop 2.0. Платформа оркестровки Hop - это платформа интеграции данных с открытым исходным кодом, в которой все обрабатывается как метаданные, что означает, что она может работать с большинством платформ обработки данных. HOP 2.0 обновился до Java 11 и добавил ряд плагинов для преобразования.
Цель Hop - позволить разработчикам сосредоточиться на проблеме, которую они пытаются решить, не мешая технологиям. Команда говорит, что простые задачи должны быть легкими, сложные задачи должны быть возможными.
Hop позволяет пользователям работать визуально, используя метаданные для описания того, как должны обрабатываться данные и как должны строиться рабочие процессы и конвейеры.
Hop начал свою жизнь как коммерческая программа еще в начале 2000-х годов под названием Kettle и продукт Extract-Transform-Load (ETL), который стал Pentaho Data Integration (PDI). HOP - это форк PDI, который вошел в инкубатор Apache в 2020 году.
Hop состоит из небольшого, но мощного движка, со всеми функциями, добавляемыми с помощью плагинов: установка Hop по умолчанию поставляется с примерно 400 плагинами, и вы можете удалить или добавить сторонние плагины. Разработчики Hop создают рабочие процессы и конвейеры в визуальной среде разработки, называемой Hop Gui. Рабочие процессы и конвейеры могут выполняться на различных движках: рабочие процессы и конвейеры могут выполняться на собственном движке Hop, как локально, так и удаленно. Конвейеры также могут выполняться на Apache Spark, Apache Flink и Google Dataflow с помощью конфигураций среды выполнения Apache Beam.
Hop работает в среде Java и может использоваться локально, в облаке или в контейнерах под управлением Windows, Linux и OSX.
Большая часть работы в новой версии была проделана по обновлению с Java 8 до Java 11. С точки зрения того, что нового для пользователей, основным улучшением является добавление нескольких новых плагинов transform для поддержки вывода файлов Apache Avro, загрузчика Apache Doris Bulk, накопителя правил Drools и исполнителя правил Drools. Существует также новый плагин Formula, который позволяет применять формулы и функции, подобные Excel, к полям в конвейере.
