Как мы можем измерить качество данных
Правильное управление качеством данных зависит от того, как его измерить. Установление показателей и сбор показателей позволяют лучше понять каждый компонент цикла качества данных, поскольку, хотя каждая организация уникальна, существует ряд количественных показателей качества данных, которые являются универсальными:
Полнота: это степень, в которой присутствуют все атрибуты данных.
Действительность: представляет собой привязку значения данных к его набору значений.
Уникальность: степень, в которой все значения, отличные от элемента данных, появляются только один раз.
Целостность: это связано со степенью соответствия определенным правилам отношения данных.
Точность: определяет, в какой степени данные правильно представляют истину о реальном объекте или соответствуют тому, что установлено авторитетным источником.
Когерентность: представляет степень, в которой одна часть данных содержит одно и то же значение в нескольких наборах данных.
Возможность: этот атрибут качества данных позволяет узнать, доступны ли они, когда это требуется.
Рендеринг: это связано с форматированием, шаблоном, удобочитаемостью и полезностью данных для предполагаемого использования.
В дополнение к этим количественным показателям качества данных, чтобы получить реальное представление о положении организации в этой области, необходимо также рассмотреть качественные показатели, такие, как удовлетворенность клиентов и бизнес-пользователей, показатели соответствия, избыточность процессов или выявление бизнес-возможностей.
Установление показателей позволяет установить базовый уровень для определения состояния качества данных в организации и мониторинга прогресса инициатив по управлению качеством данных..
Что необходимо для управления качеством данных
В дополнение к метрикам есть несколько других фундаментальных компонентов цикла качества данных. Речь идет о следующих:
Обнаружение данных: процесс поиска, сбора, организации и уведомления метаданных.
Профилирование данных: процесс детального анализа данных, сравнения их с их метаданными, расчета статистики данных и отчетности о показателях качества данных, которые должны применяться в любое время.
Правила качества данных: они будут направлены на оптимизацию уровня качества информационных активов организации и основаны на применимых бизнес-требованиях, бизнес-правилах и технических правилах, которым должны придерживаться данные.
Мониторинг качества данных: для постоянного улучшения требуются усилия по отслеживанию, позволяющие сравнивать достижения с определенными пороговыми значениями ошибок, создавать и хранить исключения качества данных и генерировать связанные уведомления.
Отчетность о качестве данных: связана с процедурами и инструментами, используемыми для отчетности, детализации исключений и обновления текущих мер качества данных.
Исправление данных: имеет дело с текущим исправлением исключений и проблем качества данных в соответствии с уведомлением.
После того, как показатели получены и остальные компоненты запущены, для создания программы управления качеством данных остается рассмотреть только несколько ключевых принципов, таких как:
Помните, что это не пунктуальное действие. Качество данных следует понимать как непрерывный процесс, в котором не существует и не должна быть поставлена цель, а скорее дальнейшая корректировка. Это видение включает в себя культурные изменения в организации, которые могут быть тем, что требуется больше всего времени в инициативе по качеству данных. Кроме того, для обеспечения адекватности программы управления необходимо периодически пересматривать и по мере необходимости вносить в нее изменения.
Не пытайтесь охватить все проблемы качества удара или попытаться достичь нулевого размера ошибок. Это неосуществимо. Вместо того, чтобы пытаться реализовать все сразу, предпочтительнее создать программу, которая будет решать вопросы постепенно и шаг за шагом.
Ставьте себе цели. Постановка краткосрочных, среднесрочных и долгосрочных целей-это способ мотивировать себя к прогрессу и лучший способ проверить, движетесь ли вы в правильном направлении. На практике, как только уровни качества данных, требуемые бизнесом, будут поняты, могут быть поставлены цели качества данных и установлены первые. Хорошая политика заключается в том, чтобы расставить приоритеты в областях, которые обеспечат максимальную отдачу от инвестиций, и, как стратегия реализуется, начать сосредотачивать внимание на вопросах, имеющих наибольшую ценность для бизнеса.
Быть открытыми для всего. Данные всех видов и поступают из нескольких источников. Вы не должны ставить себе границы или сосредотачиваться на конкретной области, забывая о других. Качество данных можно управлять в любой точке потока данных.
Не забывайте о важности владельцев данных. Как бы хорошо ни была разработана программа управления качеством данных, если бизнес-пользователи не знают своих обязанностей или игнорируют их при взаимодействии с информационными активами организации, достижение целей в области качества не может быть достигнуто. Как и в случае с администраторами программ, хорошей альтернативой является рассмотрение привязки вашей компенсации к целям качества, чтобы повысить вашу мотивацию и улучшить результаты.
основы управления качеством данных
Как только вы поймете важность качества данных, важно знать 5 основных столпов управления качеством данных. Речь идет о следующих:
Люди и талант
Технология так же эффективна, как и люди, которые ее внедряют. Мы можем функционировать в технологически продвинутом деловом обществе, но человеческий надзор и внедрение процессов еще не устарели. Существует несколько функций управления качеством данных, которые необходимо учитывать:
Администратор программы DQM: роль администратора программы должна выполняться руководителем высокого уровня, который берет на себя ответственность за общий надзор за инициативами в области бизнес-аналитики. Вы также должны контролировать управление повседневной деятельностью, связанной с объемом данных, бюджетом проекта и реализацией программы. Менеджер программы должен возглавить представление данных о качестве и рентабельности инвестиций.
Менеджер изменений организации: менеджер изменений делает именно то, что предлагает название: организовать. Он помогает организации, обеспечивая ясность и знание передовых решений в области технологий передачи данных. Поскольку проблемы качества часто выделяются при использовании программного обеспечения приборной панели, менеджер изменений играет важную роль в визуализации качества данных.
Бизнес-аналитик / аналитик данных: бизнес-аналитик определяет потребности в качестве данных с организационной точки зрения. Эти потребности определяются количественно в моделях данных для закупок и доставки. Это гарантирует, что теория качества данных передается команде разработчиков.
Профилирование данных
Профилирование данных является важным процессом в жизненном цикле управления качеством данных как в облаке, так и в любой другой среде. Профилирование данных проводится с целью разработки более полного представления о существующих данных, чтобы их можно было сравнить с целями качества данных. Это подразумевает:
Просмотрите информацию в деталях.
Сравните и сопоставьте данные с вашими собственными метаданными.
Запуск статистических моделей.
Сообщить о качестве данных.
Профилирование данных помогает компаниям устанавливать на основе метрик отправную точку в процессе управления качеством информации, устанавливая стандарты, которые позволят повысить уровень качества данных.
Определение правил качества данных
Третьим столпом управления качеством данных является само качество. Разработка правил качества имеет важное значение для успеха любого процесса управления качеством данных, поскольку эти стандарты облегчают раннее обнаружение потерь выравнивания, не позволяя скомпрометированным данным влиять на весь набор.
Правила качества, которые будут применяться к информации, ее использованию и управлению, должны быть созданы и определены на основе целей и требований бизнеса. Следует иметь в виду, что критически важные элементы данных должны зависеть от отрасли.
Правила качества данных, как сами по себе, так и в сочетании с программным обеспечением бизнес-аналитики, позволяют организации:
Выявление проблем качества данных в информационных активах бизнеса.
Исправить эти вопросы.
Предсказать тенденции.
Внести свой вклад в расширение сферы охвата анализа.
Повышение стоимости отчетности.
Reporting
В естественном процессе применения правил данных не может отсутствовать создание отчетов о качестве. С помощью reporting регистрируются все компрометирующие исключения качества данных, поскольку после того, как исключения были идентифицированы и захвачены, они должны быть добавлены, чтобы идентифицировать шаблоны качества данных.
Захваченные точки данных должны быть смоделированы и определены на основе конкретных характеристик (например, на основе их источника или даты). После того, как эти данные были зарегистрированы, они могут быть применены к решению бизнес-аналитики, чтобы сообщить о состоянии качества данных и исключениях, которые существуют. В идеале этот процесс должен происходить в режиме реального времени.