Качество данных

✍️ Классификация метаданных По способу использования можно выделить: ✔️ Технические: Технические метаданные обычно используются для описания производимых с данными действий (DataOps), чтобы улучшить понимание о том как передаются данные, как они интегрируются и трансформируются. Включают в себя: Операции: Информация о перемещении и использовании данных. Процесс: Подробная информация о загрузке данных в хранилище. Структура: основа для создания и ведения словарей данных. ✔️ Бизнес метаданные: Общее описание данных на языке, понятном не техническим специалистам. ✔️ Метаданные о происхождении: Описание источников данных, прослеживаемость мест их обработки и перемещения. ✔️ Административные: Доступ к данным и удобство использования. ✔️ Социальные метаданные: Статистика о наиболее популярных объектах данных и дата-сетах, информация об авторах. Метаданные могут описывать не только данные как таковые (базы данных, элементы данных, модели данных и т. д.), но и представляемые ими объекты (бизнес-процессы, системы и приложения, элементы ИТ-инфраструктуры и т. п.), а также связи (отношения) между данными и объектами Ещё больше об использовании и управлении метаданными - читайте в статье по ссылке (eng)

✍️ Пост-напоминалочка - рабочие материалы На канале бусти выложены подкрепляющие материалы к статьям и к Data Governance вообще. Полный список смотрите по ссылке Что найдётся: - функциональные и НФТ к инструментам автоматизации DG; - показатели и метрики качества данных; - пример заполнения карты данных; - пример структурирования и работы с данными (более 2000 записей в формате ексель - Enterprise Data Model); - дата-аудит и многое другое... Всем удачи!

Data Profiling — процесс изучения данных, доступных из существующего источника информации, и сбора статистических данных или информативных сводок об этих данных. ☝️ Другими словами, процесс профилирования состоит как бы из двух шагов: ✔️ первый - это этап изучения данных, понимания их структуры, взаимосвязей, бизнес-контекста и возможного применения в дальнейшем анализе. Также этап может включать процесс извлечения метаданных: информации о технических именах данных, формат, размер, время создания и т.п.; ✔️ второй - этап сбора статистических характеристик, таких как характер распределения величин, наличие выбросов, параметры выборки. Этот этап также может включать процедуры по предварительной оценке качества данных: поиск пропущенных значений, нарушения целостности и бизнес-логики связей между значениями полей и т.п. 👉 Толковый словарь Data Governance

Повышение качества данных: пошаговая инструкция This eBook describes the proven data monitoring process that will help you remove all data quality problems. It was created by the DQOps Team based on their experience in data cleansing and data quality monitoring. В этой книге описан проверенный процесс мониторинга данных, который поможет вам устранить все проблемы с качеством данных. Он был создан командой DQOps на основе их опыта в области очистки данных и мониторинга качества данных. В этой книге вы найдете, как: - Установить основные цели по повышению качества данных. - Организовать и сделать итеративный проект по очистке данных. - Измерить качество данных по нескольким параметрам, таким как точность, достоверность, полнота, непротиворечивость, актуальность или своевременность. - Выявить проблемы с качеством данных и своевременно устранить их в будущем. - Выявить проблемы в конвейерах передачи данных. Если раньше пропустили эту книгу - качайте тут

В цикле управления качеством данных есть процесс, который называется Контроль качества. Под этим скромным названием скрывается целый комплекс мероприятий, программного обеспечения и дашбордов, направленных на управление эффективностью программы качества данных. Контролируется и управляется этот процесс Метриками качества. Подробности в статье на boosty