236 читали · 2 года назад
Конвейер данных в реальном времени с Kafka и ClickHouse
Источник: Nuances of Programming Курс SkillFactory Python для анализа данных. Вы научитесь за минуты обрабатывать большие файлы и создавать отчеты, автоматизируете сбор данных из интернета, освоите парсинг и работу с API. Построим конвейер данных с их приемом в ClickHouse через Kafka и агрегированием автоматически обновляемых данных. Возьмем набор данных о мировых ценах на продовольствие, хоть и неидеальный для Kafka из-за отсутствия критериев скорости. Сначала создадим на Python скрипт для выдачи сообщений  —  строк набора данных...