Инструменты управления данными

Годика полтора назад департамент данных Банка России подготовил исследование о состоянии систем управления данными на финансовом рынке и запустил его на обсуждение в банки. Доклад построен следующим образом: В первой части дается определение систем управления данными участников финансового рынка, перспективы развития и основные тенденции в управлении данными. Вторая часть посвящена изучению международного опыта регулирования управления данными на финансовых рынках западных стран, отдельное внимание уделяется опыту регулирования в Китайской Народной Республике и Малайзии. Третья часть посвящена анализу результатов обследования состояния систем управления данными участников финансового рынка, проведенного Банком России в сентябре 2022 года. Приводятся исходные гипотезы и их статус, обозначаются наблюдения, полученные в результате обследования, а также анализ фактических собранных данных. В четвертой части предлагаются к обсуждению возможные мероприятия Банка России по развитию и стимулированию развития систем управления данными участников финансового рынка. В пятой части приводятся вопросы для общественных консультаций. Скачать доклад можно на бусти по ссылке Не сильно что-то поменялось за год, исследование всё ещё интересно читать 🤗 Источник - Банк России 👉 Подписаться на канал 👈

Data.World - пожалуй лучшее решение из существующих в мире для автоматизации процессов Data Governance По мнению Data.World текущий рейтинг DG-tools выглядит так: 1️⃣ data.world 2️⃣ Informatica 3️⃣ Collibra 4️⃣ IBM data governance 5️⃣ Microsoft Purview 6️⃣ OvalEdge 7️⃣ Erwin 8️⃣ Atlan 9️⃣ Alation 🔟 SAP Небольшое ревью по каждому инструменту, ориентировочные цены, а также ответ на вопрос "Зачем всё это нужно?" найдёте на страничке Data.World - The 10 Best Data Governance Tools

✍️ Классификация метаданных По способу использования можно выделить: ✔️ Технические: Технические метаданные обычно используются для описания производимых с данными действий (DataOps), чтобы улучшить понимание о том как передаются данные, как они интегрируются и трансформируются. Включают в себя: Операции: Информация о перемещении и использовании данных. Процесс: Подробная информация о загрузке данных в хранилище. Структура: основа для создания и ведения словарей данных. ✔️ Бизнес метаданные: Общее описание данных на языке, понятном не техническим специалистам. ✔️ Метаданные о происхождении: Описание источников данных, прослеживаемость мест их обработки и перемещения. ✔️ Административные: Доступ к данным и удобство использования. ✔️ Социальные метаданные: Статистика о наиболее популярных объектах данных и дата-сетах, информация об авторах. Метаданные могут описывать не только данные как таковые (базы данных, элементы данных, модели данных и т. д.), но и представляемые ими объекты (бизнес-процессы, системы и приложения, элементы ИТ-инфраструктуры и т. п.), а также связи (отношения) между данными и объектами Ещё больше об использовании и управлении метаданными - читайте в статье по ссылке (eng)

ИИ для именования объектов КМД или грабли, на которые мы наступаем ⁉️ Возникла задача автоматизировать процесс присвоения имён сущностям и атрибутам концептуальной модели данных. Также замахнулись на использование ИИ для решения этой задачи в каком-нибудь приемлемом виде )) Что было на входе, какими ресурсами располагали: процесс, люди, инструменты. Что потом пришлось переделать и как? С какими проблемами столкнулись буквально на первых шагах и удалось ли их решить? Читай в статье на бусти. 👉 Разбор полёта одного пилота 🤣

✍️ Пост-напоминалочка - рабочие материалы На канале бусти выложены подкрепляющие материалы к статьям и к Data Governance вообще. Полный список смотрите по ссылке Что найдётся: - функциональные и НФТ к инструментам автоматизации DG; - показатели и метрики качества данных; - пример заполнения карты данных; - пример структурирования и работы с данными (более 2000 записей в формате ексель - Enterprise Data Model); - дата-аудит и многое другое... Всем удачи!

Инструмент моделирования данных Рано или поздно, любая компания развивающая у себя дата-технологии и процессы, сталкивается с вопросом: - как правильно моделировать данные? - какой инструмент мне поможет? Сегодня мой пост посвящен второму вопросу. Какой инструмент поможет поддержать сквозной процесс моделирования данных? Каковы требования к такому ПО? Читайте в статье на бусти Вопрос к коллегам. Если кто-то может предложить российское ПО для этих целей или знает ещё инструменты, которые содержат репозиторий и остаются доступными на российском рынке - добро пожаловать в комментарии или личку.