Apache Kafka это мощный механизм обмена сообщениями, который широко используется в проектах BigData. А так же в жизненном цикле анализа данных. Это платформа с открытым исходным кодом для построения конвейеров потоковой передачи данных в реальном времени. А так же это распределенная платформа для публикации и подписки с надежностью, масштабируемостью и долговечностью.
Kafka может быть как автономная так и как кластерная. Kafka хранит потоковые данные ,и они могут быть классифицированы как темы . Тема будет иметь несколько разделов, так что она может обрабатывать произвольный объем данных. Кроме того, мы можем иметь несколько копий для отказоустойчивости, как это происходит в HDFS . В кластере Kafka брокер — это компонент, который хранит опубликованные данные.
Zookeeper это обязательная служба для запуска кластера Kafka , поскольку она используется для управления координацией брокеров Kafka. Zookeeper играет ключевую роль между производителем и потребителем, где он отвечает за поддержание состояния всех брокеров.
В этой статье мы объясним, как установить Apache Kafka в одном узле CentOS 7 или RHEL 7 .
Установка Apache Kafka в CentOS 7
1. Во-первых, вам нужно установить Java в вашу систему. Java требуется для запуска Apache Kafka без каких-либо ошибок. Итак, установите доступную по умолчанию версию Java с помощью следующей команды yum и проверьте версию Java .
Проверка Версии Java
# yum -y install java-1.8.0-openjdk
# java -version
Загрузка Apache Kafka
2. Теперь загрузите самую последнюю стабильную версию Apache Kafka. Это можно сделать с официального сайта. Или используйте команду wget, чтобы загрузить ее напрямую и извлечь.
# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz
# tar-xzf kafka_2. 13-2. 7. 0. tgz
3. Создайте ссылку для пакета kafka, затем добавьте путь к .bash_profile файлу среды Kafka. И инициализируйте его, как показано на рисунке.
# ln -s kafka_2.13-2.7.0 kafka# echo «export PATH=$PATH:/root/kafka_2.13-2.7.0/bin» >> ~/.bash_profile# source ~/.bash_profile
4. Теперь запустите Zookeeper ,который поставляется встроенным в пакет Kafka. Поскольку это кластер с одним узлом, вы можете запустить zookeeper со свойствами по умолчанию.
# zookeeper-server-start.sh -daemon / root/kafka/config/zookeeper. properties
5. Проверьте, доступен ли zookeeper, просто подключив telnet к порту 2181 Zookeeper .
# telnet localhost 9092
6. Теперь создайте пример темы.
# kafka-topics.sh —create —ZooKeeper localhost:2181 —replication-factor 1 —partitions 1 —topic tecmint
7. Перечислите созданную тему.
# kafka-topics.sh —zookeeper localhost:2181 —list
Заключение
Ну вот и все. В этой статье мы рассмотрели, как установить кластер Kafka с одним узлом в CentOS 7 .
Оригинал статьи на нашем сайте: Как установить Apache Kafka в CentOS / RHEL 7
