В этом году ожидается рост интереса к процессам моделирования данных, повышение качества самих моделей данных и, как следствие, переход на новый уровень зрелости в управлении данными и осознание необходимости выравнивания процессов моделирования данных на всём ИТ-ландшафте. Выравнивание моделей - это синхронизация между собой различных моделей данных (физических, логических, концептуальных) и получение единого представления о данных компании с помощью EDM - корпоративной модели данных.
Корпоративная модель данных (EDM - Enterprise Data Model) - набор артефактов (диаграммы, схемы, таблицы, каталоги), дающий представление о структуре и доменах данных, которыми оперирует организация, их связях и отношениях между различными бизнес-сущностями, а также жизненном цикле данных. Для поддержания корпоративной модели данных в актуальном состоянии обычно требуется наличие инструмента Архитектурный репозиторий данных. Корпоративная модель данных может содержать концептуальные, логические и физические модели данных, диаграммы потоков данных и т.п. Состав и набор артефактов зависит от принятой в компании политики управления данными. Толковый словарь Data Governance
Что означает выровнять или синхронизировать модели: физические модели данных отдельных систем и приложений должны формироваться на основании логических моделей бизнес-доменов (предметных областей), которые в свою очередь разрабатываются по единым стандартам и принципам, которые закрепляются в концептуальных моделях данных.
Каким основным принципам нужно следовать, чтобы ваш процесс моделирования был максимально эффективным и полезным, а также не был оторван от реалий? В вашем соглашении о моделировании данных это может быть закреплено принципами моделирования, например, так.
Основные принципы моделирования EDM
- Модель развивается органично - от продукта и бизнес-задач, а не спускается сверху.
- Используются гибкие подходы в моделировании для обеспечения расширяемости и изменяемости модели.
- Процесс моделирования встраивается в производственный процесс для сокращения Time to Market (T2M) и обеспечения получения выгод от переиспользования моделей данных на разных этапах разработки продукта.
- Структурирование и группировка данных осуществляется через логические модели данных отдельных процессов и продуктов; обязательно выделение бизнес-сущностей продуктов и установление связей между ними.
- Управление моделированием данных осуществляется через Концептуальную Модель Данных.
- Процессы моделирования осуществляются по единым стандартам и шаблонам и закрепляются в Соглашении о моделировании КМД-ЛМД.
- Для управляемости и контролируемости процесса моделирования необходима его автоматизация:
- Управление единым и непротиворечивым словарем данных и бизнес-терминов - описание данных - осуществляется через автоматизированный инструмент Бизнес-глоссарий;
- Управление метаданными и их сбор осуществляется через автоматизированный инструмент Каталог данных;
- Управление моделированием и развитием EDM осуществляется через инструмент проектирования и визуализации моделей данных, а также через словари данных.
Когда мы говорим про модель данных, то надо понимать, что в компании их может быть огромное количество - по потребности бизнеса, основные виды моделей данных перечислены ниже.
Виды моделей данных в компании
Концептуальные модели
- Концептуальная модель данных Компании: содержит базовые Концепты и бизнес-критичные бизнес-сущности продуктов и процессов без атрибутов
- Концептуальная модель данных Бизнес-домена: совокупность моделей нескольких продуктов, составляющих одну предметную область.
- Концептуальная модель данных Дата-домена: содержит структуру супер-домена или модель Концепта (подтипы и классы супер-домена), модель концепта включает бизнес-сущности продуктов и процессов организации.
- Концептуальная модель данных функциональной области: рождается из логической модели продукта, строится вокруг него и подобных ему продуктов.
Логические модели
- Логическая модель бизнес-домена или предметной области. Содержит бизнес-критичные атрибуты и атрибуты, необходимые для функционирования бизнес-процесса/продукта.
- Логическая модель продукта. Содержит бизнес-критичные атрибуты и атрибуты, необходимые для функционирования бизнес-процесса/продукта
- Логическая модель хранилища (отдельных слоёв)
Физические модели
- Физическая модель БД в информационной системе - информация о структуре и составе данных, используемых в приложении.
- Физическая модель хранилища - информация о структуре и составе данных, используемых в различных слоях хранилища.
Корпоративная модель данных
- Все вышеперечисленные модели данных
- Бизнес-глоссарий терминов и определений
- Интеграционные потоки данных между продуктами (ЛМД), информационными системами и сервисами
В соглашении о моделировании данных также должны быть обозначены основные элементы моделирования, используемые для описания вашей архитектуры данных. Пример ниже.
Основными элементами Архитектуры данных являются (порядок от большего к малому):
- Супер-домены данных или категории данных*: Субъект (Role), Объект (Material), Время (Time), Место (Location), Процесс (Process), Показатель (Goal)
- Базовые Концепты супер-доменов данных: в каждом супер-домене выделяют Базовые Концепты, которые являются родительскими сущностями для всех прочих сущностей и бизнес-сущностей. Базовые Концепты, обычно, являются объектами реального мира и существуют не зависимо от деятельности организации. Например: Заказ, Договор, Физическое лицо.
- Бизнес-сущности: действующие и работающие внутри процессов и продуктов подтипы Базовых Концептов. Возникают и существуют только в рамках этих процессов и продуктов. Бизнес-сущности всегда являются потомками Базовых Концептов, не может существовать отдельная сущность, не привязанная к Базовому Концепту.
- Атрибуты: свойства и признаки, описывающие бизнес-сущности и их поведение в процессах и продуктах.
- Связи/отношения между бизнес-сущностями: показывают зависимости между бизнес-сущностями, мощность связей...
Все модели данных проектируются или от Концепта (сверху-вниз) или от Продукта (снизу-вверх).
Зачем нужно внедрять процесс моделирования? Примеры моделей данных и краткий ответ на этот вопрос вам даст статья Что такое моделирование данных. Также смотрите статью про тренды моделирования данных - тут цели и перспективы, к которым стремятся наиболее прогрессивные из нас.
Подробнее отвечу на вопрос ЗАЧЕМ в следующей статье - Ценность Корпоративной модели данных.
Для для понимания что из себя представляет КМД - скачивайте Презентацию в формате pdf на boosty (по подписке).
В формате ексель найдёте пример EDM в формате эл.таб на boosty - более двухсот бизнес-объектов, примерно полторы тысячи дата-объектов, концепцию разбиения на домены и структурирования данных.
Поддержать канал | Подписаться на скачивание файлов | Читать в телеграм