История создания Apache Kafka была разработана Джейем Креймеером, Неха Наркаром и Мартьяном Клянкой, которые работали в LinkedIn. Их целью было создание решения для обработки логов и событий на сайте LinkedIn. Тогда в компании LinkedIn существовала проблема с обработкой огромного количества данных, поступающих от различных процессов. В 2008 году инженеры LinkedIn начали работать над новым решением, которое могло бы обрабатывать потоки данных в реальном времени. Их идея заключалась в создании платформы, позволяющей разделять данные на несколько частей (топиков) и обрабатывать их параллельно...

Apache Kafka нынче используется большинством компаний. Нередко Кафку описывают словами "шина данных" - зачастую это главная артерия данных в больших и сложных системах, по которой циркулируют данные между различными ее частями. В этой статье и я расскажу, зачем и как появился этот инструмент, какие проблемы решает и почему он так важен. В серии статей "Узнай-ай-ти" я простыми словами объясняю явления, подходы и технологии из мира IT. Если Вы хотите о чем-то узнать, пишите в комментариях, и я обязательно разберу это в будущих статьях...