Data Mesh как подход к работе с хранилищами данных
Data Mesh - подход к организационной структуре управления данными в компании, в который закладывается принцип самоорганизации как процессов управления данными, так и открытая инженерная культура работы с данными.
В основу такого подхода можно отнести несколько главных идей:
📍“Self-serve data infrastructure as a platform to enable domain autonomy” (самоорганизация инфраструктуры данных как платформы для обеспечения бизнес-доменов)
📍“Data must be self-describing and documented, and customers should be able to consume all the data in the organization as-a-service Solution” (Данные должны быть описаны и задокументированы таким образом, что пользователи могли использовать их открыто как сервис)
📍“Distributed domain driven architecture” (Распределенная архитектура, где данные управляются командами разных бизнес-доменов, а не распределяются в централизованное хранилище данных.
📍“Product Thinking” (Данные как продукт, где команды с разных бизнес-доменов являются владельцами данных, они могут управлять качеством данных, доступами. Как владельцы данных, они отвечают за продукт (свои данные), поддерживают пользователей, которые работают с их источниками данных)
Выделяют следующие характеристики Product Thinking:
✏️ Discoverable (Пользователю должно быть просто найти необходимый дата-продукт. Осуществляется путем создания и поддержания data catalog или регистра продуктов с указанием бизнес-владельца, систем-источников, доступных сущностей таблиц/витрин)
✏️ Addressable (Должен применяться единый стандарт названий продуктов и сущностей, чтобы упростить пользовательский путь по использованию данных)
✏️ Trustworthy and truthful (Дата продукт должен иметь доверие со стороны пользователей, т.е. содержать реальные и актуальные данные с высоким качеством)
✏️ Self-Describing (Продукт должен быть подробно описан, чтобы пользователи могли самостоятельно найти продукт, проанализировать его и начать использовать в своих целях с минимальным вмешательством команды поддержки)
✏️ Inter-Operable and governed by Global Standards (Дата Продукты децентрализованных команд должны иметь возможность интегрироваться между собой с возможностью взаимосвязи данных. Это достигается путем введения глобальных стандартов Data Governance, которых должны придерживаться доменные команды)
✏️ Secured (Должны быть введены глобальные стандарты безопасности для всех продуктов. Также должен быть единый процесс получения доступа к данным, который может в конечном итоге направлять запросы с доступами в доменные команды, ответственные за данные)