12 подписчиков
🔵 Data Warehouse (DWH)
Хранилище данных — информационная система, в которой хранятся данные из разных источников. Используется для анализа, составления отчетов и интеграции данных транзакций.
⚪️ Нижний уровень — БД. Объединяют данные из источников информации (например, из транзакционных СУБД или SaaS-сервисов).
⚪️ Средний — сервисы и приложения. Преобразуют данные в структуру для анализа и сложных запросов. Например, сервер OLAP.
⏺ Верхний — инструменты для создания отчетов, визуализации и анализа. Также называют уровнем клиента.
Модели ХД:
⏺ Виртуальное ХД — отдельные БД, которые можно использовать совместно, чтобы получать доступ ко всем данным (как при хранении в одном ХД).
⏺ Модель витрины данных — для отчетности и анализа конкретных бизнес-линий. Хранилища — агрегированные данные из исходных систем, по одной бизнес-сфере.
⏺ Модель корпоративного ХД — хранение агрегированных данных со всей организации.
Схемы ХД:
✨ Звезда: в центре ХД таблица фактов, которая хранит основные метрики. Вокруг расположены таблицы измерений с атрибутами. Простая и быстрая для чтения схема, оптимизирована для производительности запросов.
⏩ Пример: в центре — таблица фактов с информацией о продажах (сумма, количество). Вокруг — таблицы измерений: товары, клиенты, дата, магазины.
✨ Снежинка: нормализованная версия «Звезды», где таблицы измерений делятся на подтаблицы. Экономит место, но усложняет запросы.
⏩ Таблица «клиенты» делится на персональные данные, контакты, адреса.
✨ Anchor Modeling: полная нормализация данных. В центре — якоря (таблицы с сущностями). К ним присоединяются атрибуты и связи. Хранятся в отдельных таблицах. Легко добавлять данные и расширять структуру без изменений существующих таблиц. Но требует более сложных запросов и тщательного планирования.
⏩ В центре — якоря (клиенты и товары). Атрибуты для якоря «клиенты»: имя, дата рождения. Связи между якорями «клиенты» и «товары»: связь покупок. Изменения (обновления адреса клиента), добавляются как новые строки, сохраняя историю изменений.
✨ Data Vault: гибридный подход, объединивший плюсы схемы «звезды» и 3-ей нормальной формы. Состоит из:
➖ Хаб — таблица с основными данными по бизнес-сфере.
➖ Ссылка — таблица, которая соединяет и масштабирует систему.
➖ Спутник — таблица с описанием ключа хаба.
⏩ Отдельные хабы для «Клиентов» и «Продуктов». Ссылки связывают хабы с транзакциями. Сателлиты хранят изменяющиеся атрибуты (текущий адрес, обновлённые данные о продукте).
Методологии проектирования:
📌 Инмон: нисходящий подход. После процесса ETL создается нормализованная модель ХД. Из нее создаются витрины размерных
2 минуты
29 декабря 2024