🔹 Метрики качества данных: что отслеживать в пайплайне
🔹 Зачем мерять метрики качества данных?
🔸 Accuracy — показывает, насколько значения в таблице соответствуют реальности или эталону; без неё отчёты и модели дают смещённые выводы, поэтому отслеживают разницу с reference-данными и ставят пороги для отклонений.
🔸 Completeness — измеряет долю отсутствующих значений; пропуски ломают агрегации и ML; простая метрика — процент non-null.
SELECT
SUM(CASE WHEN col IS NULL THEN 1 ELSE 0 END) AS nulls,
COUNT(*) AS total,
SUM(CASE WHEN col IS NULL THEN 1 ELSE 0 END)::float/COUNT(*) AS null_rate
FROM my_table;
🔸 Timeliness — измеряет свежесть данных, а задержка (latency) приводит к решениям на устаревших данных. SLA на pipeline — время от события до его доступности в хранилище
🔸 Validity — проверяет соответствие схемы и правил (формат, диапазоны); без валидации пайплайн может падать или дать мусорные значения.
📚 Отслеживайте все эти метрики: выбирайте пороги, автоматизируйте проверки и алерты вместе с нами!
#CODERIKK #De #Middle
➡️ Мы в Telegram - Сетке - Дзен
Буду рад вашей реакции здесь⬇️
