Мало кто не знаком с Apache Kafka. Это популярная платформа потоковой обработки событий в реальном времени, обладающая низкой задержкой и высокой пропускной способностью. Еще ее называют распределенным программным брокером сообщений с открытым исходным кодом. Однако все эти сообщения еще надо где-то группировать. В случае с Kafka используются топики.
По своей сути топики можно сравнить с БД в стандартных системах управления базами данных. При этом топики разбиваются на разделы, а эти разделы представляют собой отдельные журналы, функционирующие по принципу FIFO, то есть по принципу очереди. Каждый раздел -- это отдельный журнал.
Ниже -- процесс записи сообщений по разделам:
Благодаря нескольким разделам, Kafka обеспечивает как избыточность, так и масштабируемость, что не может не радовать.
Кроме того, любой раздел вы можете расположить на отдельном сервере, а это уже повышает возможности по горизонтальному масштабированию системы на несколько серверов, что значительно увеличивает производительность. Таким образом, можно сказать, что в Apache Kafka поток данных является отдельным топиком вне зависимости от числа разделов.
По материалам https://habr.com/ru/company/otus/blog/725168/.
__________
В 9 из 10 вакансий на позицию DevOps-инженера указано знание Apache Kafka. И задачи, с которыми сталкиваются девопс-инженеры в работе с Kafka, очень разнообразны.
Например, как начать работу с Apache Kafka в приложениях на Spring Boot? Разберем на открытом уроке 13 апреля в 20:00 мск в OTUS вместе с сертифицированным Java-разработчиком, Сергеем Петрелевичем. Занятие пройдет в рамках онлайн-курса «Apache Kafka» в OTUS.
Что вас ждет на занятии?
— Рассмотрим, как в приложениях на Spring Boot можно работать с Kafka.
— Узнаем, что предоставляет платформа Spring для ускоренной разработки приложений, работающих с Kafka.
— Посмотрим, какие есть настройки и как это все конфигурируется.
— Проведем границу между «родным функционалом» Kafka API и «добавками» от Spring Boot.
Отличный способ провести вечер и расширить свои знания. А продолжить занятия и вырасти в профессии стоит на курсе — главное, успеть, пока он доступен в рассрочку.