Реализация хранилищ данных DWH в MS SQL Server ч.8 Change Data Capture (CDC)
Сегодня поговорим подробнее про DWH. DWH - Data Warehouse. Она же КХД - корпоративное хранилище данных. Основное назначение - хранить в себе копию данных из систем-источников данных. Выделение отдельной системы, с копией данных из систем-источников предоставляет следующие преимущества при работе с отчетностью: 🪙Построение отчета не нагружает исходную систему, и не мешает операционной работе Компании (как часто случаются проблемы с тем, что кто-то в компании запустил сложный отчет в 1С-ке, и работа компании остановилась) 🪙Данные могут храниться в представлении, более подготовленном для их анализа и построения отчетности (в отличие от исходной системы, где структура данных оптимизирована для выполнения рабочих функций) 🪙Данные могут трансформироваться и создавать другие наборы данных на основе исходных данных 🪙“Тяжелый” отчет может быть заранее предрассчитан и сохранен на диске, чтобы потом его быстро получить, не тратя время и ресурсы сервера на каждый его запрос со стороны пользователя Чаще всего DWH строится на базе реляционных СУБД - MS SQL, Oracle, PostgreSQL, но есть и специализированные решения, которые для малого и среднего бизнеса скорее не нужны. Кроме задач отчетности DWH может выполнять функции источника данных для других систем, формируя тем самым “звездную” модель интеграций вместо “паутинной”, что благотворно влияет на качество межсистемной интеграции внутри контура систем компании. В задачах отчетности основным потребителем информации из DWH являются BI системы. Есть, конечно, еще многомерные СУБД, которые могут забирать данные из DWH и предрассчитывать сложные многомерные отчеты для того же BI, но это уже более сложная модель, редко требуемая в малом и среднем бизнесе. Также достаточно часто встречается такой потребитель данных, как Excel. Тут Excel выступает в роли интерфейса отображения данных (а не источника, как часто бывает). Это достаточно удобно, если работа происходит с объемами данных, которые помещаются в память рабочего компьютера. Внедрение DWH с нуля обычно создает новые трудности: ☺️Необходимо создавать и поддерживать новые интеграции систем с DWH (а это дополнительные трудозатраты) ☺️Необходимо разрешать конфликты в данных, приходящих из разных систем (это неожиданные проблемы, которых ранее не было, но они выявлялись только когда в отчетах были “кривые” цифры) Однако внедрение DWH влияет на компанию скорее благотворно с точки зрения упорядочивания потоков данных - при условии, что этим упорядочиванием кто-то занимается. #Туториал Главный по цифровизации | Александр Афанасьев | CIOaaS
Вредные советы: как самостоятельно внедрить DWH и потратить впустую деньги и время
От любого ИТ-проекта ждут надежный результат, устойчивость внедренного решения, отсутствие необходимости днем и ночью дорабатывать и настраивать его. При этом проект должен быть реализован быстро, с применением простых технологий и не превышать заложенный бюджет.
Внедрить что-то новое и получить такие результаты возможно в двух вариантах: Только проще кажется третий вариант:
из-за желания сохранить экспертизу внутри компании и сэкономить, проект реализуют силами собственной команды, у которой недостаточно нужного опыта и компетенций...