161 читали · 1 год назад
Java 1674. Как использовать Kafka для обработки потоковых данных в Java-приложениях?
Apache Kafka - это распределенная платформа для обработки потоковых данных. Она позволяет эффективно передавать, хранить и обрабатывать большие объемы данных в реальном времени. В Java-приложениях Kafka может быть использована для обработки потоковых данных следующим образом: Вот пример простого Java-кода, демонстрирующего использование Kafka для обработки потоковых данных: import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; import org...
3 месяца назад
Как работает Apache Kafka и как связаны Topic, Partitions, Consumer
Работает в FIFO - просто последовательный лог, пишем на диск в одном стриме (sequential write), читаем не удаляя сообщения (а перемещаем offset на каждую группу). Да, можно! Ты можешь явно указать, что консьюмер должен читать только из конкретной партиции топика, не участвуя в балансировке через Consumer Group. Пример на Java: consumer.assign(Arrays.asList(new TopicPartition("my-topic", 0))); Или в Go (с использованием segmentio/kafka-go, например): r := kafka...