526 читали · 11 месяцев назад
FastAPI - создание web-приложения. Часть 5 (Alembic и миграции баз данных)
Навигация по курсу: Как и GIT, Alembic — Доктор Стрэнж для базы данных. Допустим, мы добавляем столбец с названием «цена» в таблицу продуктов и его тип данных — integer. Через несколько дней очень умный разработчик изменил тип данных на float. Если мы хотим изменить тип данных обратно на десятичный для большей точности, нам нужно будет написать оператор ALTER и выполнить его на сервере. Это очень простой пример, однако изменения в базе данных могут быть масштабными. Дела могут пойти совсем плохо, если мы выполним хотя бы один неверный оператор ALTER...
216 читали · 1 год назад
Конвейер данных в реальном времени с Kafka и ClickHouse
Источник: Nuances of Programming Курс SkillFactory Python для анализа данных. Вы научитесь за минуты обрабатывать большие файлы и создавать отчеты, автоматизируете сбор данных из интернета, освоите парсинг и работу с API. Построим конвейер данных с их приемом в ClickHouse через Kafka и агрегированием автоматически обновляемых данных. Возьмем набор данных о мировых ценах на продовольствие, хоть и неидеальный для Kafka из-за отсутствия критериев скорости. Сначала создадим на Python скрипт для выдачи сообщений  —  строк набора данных...