05:51
1,0×
00:00/05:51
37,7 тыс смотрели · 4 года назад
6 месяцев назад
Как работает Apache Kafka и как связаны Topic, Partitions, Consumer
Работает в FIFO - просто последовательный лог, пишем на диск в одном стриме (sequential write), читаем не удаляя сообщения (а перемещаем offset на каждую группу). Да, можно! Ты можешь явно указать, что консьюмер должен читать только из конкретной партиции топика, не участвуя в балансировке через Consumer Group. Пример на Java: consumer.assign(Arrays.asList(new TopicPartition("my-topic", 0))); Или в Go (с использованием segmentio/kafka-go, например): r := kafka...
1097 читали · 3 года назад
Узнай-ай-ти: Apache Kafka. Простым языком объясняю, что это и для чего нужно
Apache Kafka нынче используется большинством компаний. Нередко Кафку описывают словами "шина данных" - зачастую это главная артерия данных в больших и сложных системах, по которой циркулируют данные между различными ее частями. В этой статье и я расскажу, зачем и как появился этот инструмент, какие проблемы решает и почему он так важен. В серии статей "Узнай-ай-ти" я простыми словами объясняю явления, подходы и технологии из мира IT. Если Вы хотите о чем-то узнать, пишите в комментариях, и я обязательно разберу это в будущих статьях...