436 подписчиков
Как kafka хранит данные
Интересная статья A Practical Introduction to Kafka Storage Internals, посвящённая организации хранение данных в кафке.
В начале автор напоминает базовые понятия – топики и партиции, но идёт дальше и рассматривает, как и где они хранятся на диске. Всё просто – выполняем команду и смотрим, что изменилось.
Есть ещё одно понятие, о котором не так часто вспоминают при разработке, но оно важно при настройке кафки – сегменты. Сегменты – это более низкоуровневая абстракция. Именно из сегментов состоят партиции.
В статье также поднимаются другие вопросы. Например, за счёт чего в кафке реализовано быстрое чтение из файла по нужному смещению. Или за счёт чего обеспечивается порядок чтения из партиции.
Эти знания на практике оказываются очень полезны, когда размышляешь о тех или иных проблемах. После прочтения статьи вы не потянетесь удалять большой log-файл кафки с сервера, потому что именно в нём кафка и хранит данные
А тут мы писали, что за зверь такой кафка и с какими неочевидными проблемами сталкиваешься на практике.
Если понравился пост, пожалуйста, пробивайте палец вверх:)
#skills
Около минуты
5 июня 2023