Зачем организации нужна корпоративная модель данных? Если просто, это скелет, который позволяет не терять контроль над данными и эффективно управлять ими. Это также добавляет вашей компании антихрупкости и способности к устойчивому развитию. Конечно, проектировать, создавать и поддерживать корпоративную модель данных надо с умом, чтобы она не стала камнем преткновения и не ограничивала вашу организацию в развитии. Какие негативные эффекты можно словить, если неправильно подойти к вопросу внедрения корпоративной модели:
- Повышение сложности процесса разработки и времени на выпуск в прод новых продуктов: отсутствует или внедрён неэффективный процесс сквозного моделирования, теряется время на перекладке из одной модели в другую, например, из логической в концептуальную и т.п.
- Потеря гибкости в проектировании новых продуктов: слишком жёсткие централизованные правила и принципы проектирования ЛМД-КМД, не позволяющие обходить ограничения, например, наследования.
- Потеря в скорости принятия решений: чрезмерное увлечение бюрократией, увеличение количества цепочек согласования и согласующих лиц в цикле управления данными влияет абсолютно на все процессы доставки ценности конечному пользователю.
Наверняка, кто-то из дата-практиков может припомнить ещё негативные примеры и кейсы, которые не способствуют внедрению этой инициативы. Как правильно подойти к процессу создания КМД, с чего следует начать - читайте в статье Корпоративная модель данных. Enterprise Data Model, в ней указаны основные принципы, которым надо следовать и приведены примеры элементов проектирования КМД.
Но самая большая сложность - это объяснить ценность и выгоду от создания КМД в организации. Итак, какие плюсы можно получить:
- Ускорение поставки продуктов и данных для анализа
- Ускорение межсистемной интеграции
- Понятные и непротиворечивые данные
- Уверенность в высоком качестве данных от продукта и до витрины
- Поддержка децентрализованных моделей управления данными
А теперь давайте рассмотрим каждый пункт отдельно.
Ускорение поставки продуктов и данных для анализа
При внедрении сквозного процесса моделирования происходит переиспользование артефактов, созданных на любом из этапов, в любом из продуктов. Использование единых стандартов моделирования и типовых шаблонов моделей данных на всём ИТ-ландшафте позволит существенно сократить Time to Market.
ЭКОНОМИЯ или ВЫГОДА на следующих работах:
- Сбор бизнес-требований к данным нового продукта: для качественной реализации новых продуктов и дальнейшего анализа данных необходимо собрать требования к данным - описать их по заданным шаблонам. По переиспользуемым сущностям и атрибутам требования уже хранятся в шаблоне КМД, а значит не нужно тратить время на их описание.
- Проектирование логической модели продукта: вместе с шаблонами КМД могут поставляться стандартные связи и зависимости между сущностями, что значительно упростит процесс проектирования ЛМД (логической модели данных) продукта.
- Ускорение сбора отчетности
Ускорение межсистемной интеграции
КМД является логической шиной данных, которая используется для проектирования интеграционных потоков и позволит автоматизировать процесс создания интеграционных контрактов:
- Если ЛМД источника будет спроектирована и согласована с КМД, то все данные источника будут хранится в логической шине данных в корпоративном формате.
- Если ЛМД хранилища будет спроектирована и согласована с КМД, то все данные хранилища будут хранится в логической шине данных в корпоративном формате.
ЭКОНОМИЯ или ВЫГОДА на следующих работах:
- Описание источников и приемников для новых потоков данных: вся информация уже хранится в КМД в соответствующих разделах и шаблонах.
- Создание мэппингов интеграции между продуктами или для загрузки данных в хранилище: информация может генерироваться автоматически на основании шаблонов КМД.
- Подключение внешних источников: сущности, являясь объектами реального мира, описываются стандартным набор данных в любых организациях - всё в шаблонах КМД.
Понятные и непротиворечивые данные
Создание в организации единой базы знаний о бизнес-терминах и связанных с ними данных в информационных системах и хранилищах, обеспечит доступ к исчерпывающей и достоверной информации о данных любому сотруднику.
ЭКОНОМИЯ или ВЫГОДА на следующих работах:
- Выяснение смысла и контекста данных при выполнении любых ИТ-задач: вся информация о назначении и способах применения централизованно хранится в Бизнес-глоссарии.
- Выяснение источников достоверных данных - мастер-процессов и мастер-систем: за непротиворечивость описаний терминов отвечает Владелец данных, который формирует правила создания данных, он же указывает где находятся источники его данных.
Уверенность в высоком качестве данных от продукта и до витрины
Стандартизация подходов в описании данных, а также документирование основных бизнес-правил и требований к данным, позволит контролировать и поддерживать уровень качества данных, требуемый для проведения анализа и принятия решений - на всём жизненном цикле данных.
ЭКОНОМИЯ или ВЫГОДА на следующих работах:
- Контроль происхождения данных: применение инструментов КМД на всем ИТ-ландшафте для моделирования данных повысит прозрачность кросс-функциональных процессов, предоставив информацию о том какие данные и как передаются между информационными сервисами и системами.
- Сбор бизнес-требований к качеству данных: требования к данным должны быть сформированы на этапе проектирования ЛМД продукта, на этапе разработки проверок качества мы не тратим на это время.
- Снижение ошибок и кейсов дублирования данных при подготовке аналитических витрин: повышение качества данных на готовых витринах за счет получения на входе разработки уже описанных и проверенных данных (от продукта).
- Рост уровня доверия к данным: снижение репутационных рисков при работе с партнерами и клиентами.
- Повышение качества ML-моделей и качества принятия управленческих решений.
Поддержка децентрализованных моделей управления данными
Наличие инструментов КМД позволит вам с большей лёгкостью внедрять федеративные операционные модели управления и поддерживать архитектурные подходы, ориентированные на управление децентрализованными данными. Самый популярный из известных на сегодняшний день - это подход Data Mesh.
В самом принципе КМД заложен подход логического управления данными, управления с ракурса бизнес-требований и бизнес-выгод.
Логические подходы к управлению данными позволяют подключаться в режиме реального времени к разрозненным данным и централизованно управлять распределенными, децентрализованными данными, хранящимися в различных технологических стеках и физических структурах. Чуть больше про Logical Governance в статье Основные тренды управления данными 2024.
Заключение: Все описанные выгоды и плюсы не лежат на поверхности и не могут быть получены в моменте, они имеют накопительный характер и отложенный эффект. То есть чем большее количество данных в организации будет охвачено КМД - описано через её объекты данных, тем сильнее вы ощутите эффект. Но даже внедрив корпоративную модель данных на небольшом, но очень важном объёме бизнес-критичных процессов или продуктов, вы поймёте, что совсем не зря потратили время и деньги.
P.S.: А ещё можно будет применить машинное обучение и попробовать натравить искусственный интеллект на ваши процессы управления данными, если они разложены по полочкам с помощью принципов, стандартов и шаблонов КМД ))
Презентация к статье и вообще для понимания что такое КМД - скачивайте в формате pdf на boosty (по подписке).
В формате ексель найдёте пример EDM в формате эл.таб на boosty - более двухсот бизнес-объектов, примерно полторы тысячи дата-объектов, концепцию разбиения на домены и структурирования данных.
Поддержать канал | Подписаться на скачивание файлов | Читать в телеграм
Если статья была полезна или просто понравилась, помогите другим быстрее найти её - поставьте лайк.