История создания Apache Kafka была разработана Джейем Креймеером, Неха Наркаром и Мартьяном Клянкой, которые работали в LinkedIn. Их целью было создание решения для обработки логов и событий на сайте LinkedIn. Тогда в компании LinkedIn существовала проблема с обработкой огромного количества данных, поступающих от различных процессов. В 2008 году инженеры LinkedIn начали работать над новым решением, которое могло бы обрабатывать потоки данных в реальном времени. Их идея заключалась в создании платформы, позволяющей разделять данные на несколько частей (топиков) и обрабатывать их параллельно...

Про Apache Kafka хоть раз слышали почти все опытные разработчики серверных приложений. Им пользуются компании, которые гоняют в своих системах очень большие объемы данных, считается, что простым разработчикам он не нужен. Давайте посмотрим, что такое Apache Kafka, как он работает и кому пригодится. Нервная система бэкенда: зачем нужен Apache Kafka Современные серверные приложения сложны, многоярусны и включают множество компонентов и сервисов. Архитекторы программного обеспечения выделяют в отдельные модули все, что можно: рассылку SMS, системы сбора статистики, подсистемы авторизации...