Продолжаю обзор по выступлениям на форуме. Часть 1 читайте тут.
Arenadata
У коллег было два выступления, одно - традиционно - посвящено системе хранения данных, и об этом у меня будет только один слайд, так как про GreenPlum от Arenadata сейчас не пишет только ленивый, думаю в инете достаточно информации. От себя лишь добавлю, что в первый раз решение Арены увидела ещё в 2018 году, и уже тогда оно вызывало только положительные эмоции. По крайней мере мне Наше решение понравилось больше, чем от Pivotal, но главные выбиральщики моего работодателя решили по-другому, кто ж знал, что зима импортозамещение близко! Ну что ж, спустя время приятно осознавать, что решение от Arenadata не только выдержало испытание временем, но и стало лучшим решением в своём сегменте (ИМХО). Кратко про платформу данных от Арены :)
Второе выступление от Arenadata было посвящено новому инструменту ArenadataCatalog. Инструмент молодой, ему всего год, но имеет очень большие амбиции, так как коллеги уже сейчас заявляют себя в классе систем типа Дата Каталог, но поддерживают пока только три с половиной :) из шести базовых функций, обязательных для успешного управления данными в Дата каталоге. Каким должен быть каталог данных, можно почитать в статье Автоматизация процессов управления данными.
Что приятно удивило: коллеги активно развивают функционал Бизнес-глоссария, который зачастую остаётся совсем без внимания, по крайней мере у большинства опен-сорсных систем.
Что есть в ArenadataCatalog:
- Бизнес-глоссарий
- Хранилище метаданных
- Качество данных
3.5 Это заявка на Data lineage и на ETL
Чего лично мне очень не хватает в инструменте от Арены, так это функционала проектирования объектов данных, который бы включал визуализацию процесса моделирования через диаграммы и создание артефактов в виде различных моделей данных: концептуальных, логических, физических. Должно быть что-то типа Sparx или Visual Paradigm, что свяжет воедино все остальные модули каталога и превратит его из банального хранилища в создалище полноценный инструмент проектирования. В противном случае получается, что мы исключаем из жизненного цикла управления данными самый первый шаг и нам не стыдно :).
Однако, у компании в портфеле более 10-ти активных проектов внедрения Дата каталога и инструмент развивается очень быстро, релизы выходят регулярно и достаточно объемные. Поэтому, смею надеяться, что не за горами выпуск хотя бы мини-инструмента проектирования. В целом, большое спасибо Арене, что она есть на Российском рынке!
Цифровые сервисы
Не могу пройти мимо ещё одного инструмента для управления данными, который представила молодая компания "Цифровые сервисы" (резиденты Сириус) - ПАУКд. К сожалению, коллеги не рассказали про весь функционал своего решения, а остановились только на Бизнес-глоссарии, но фундаментальный подход к реализации, богатый функционал и гибкость решения оставили очень хорошее впечатление. Надеюсь и все прочие блоки выполнены с аналогичным качеством.
Про важность наличия в эко-системе управления данными Бизнес-глоссария уже писала ранее, это первый этап в цикле управления качеством, который является не чем иным, как этапом сбора бизнес-требований к данным и к их дальнейшей реализации в любых информационных системах.
Дататех
Ещё одно выступление, заслуживающее всеобщего внимания- это Интеграционные контракты от Дататех и демо архитектурного решения, поддерживающего эти контракты.
Воистину то самое выступление, которое лучше один раз услышать, чем увидеть сотню упоминаний о нем.
Коротенько: интеграционные контракты - это основа ускорения всех процессов передачи информации между любыми информационными системами. Мы получим массу "плюшек" от внедрения архитектуры на основе интеграционных контрактов:
- Быстрый ввод в производство новых потоков данных: за счет наличия процессов управления контрактами.
- Сокращение Time to market для новых сервисов и продуктов: за счет переиспользования существующих контрактов (паттернов).
- Снижение рисков качества данных: за счет хранения описания и паттернов контрактов в едином репозитории данных.
- Единая для всех в организации система описания потоков данных, позволяющая всем - заказчикам и разработчикам - разговаривать на одном языке.
- Безопасность передачи данных: при наличии описаний, возможность внедрения автоматизированной системы маркировки потоков данных в зависимости от уровня безопасности.
- Ещё один шаг к self-service аналитике, так как интеграционные контракты - это самообслуживание в части загрузки/выгрузки данных, по сути Элемент OpenData.
- И, конечно, для меня решение, представленное коллегами, является не чем иным, как примером реализации одного из модулей эко-системы управления данными, а именно "Проектирование потоков данных" (ETL или consistent transformation tool).
Сами коллеги из Дататех описывают выгоды от приобретения своего решения следующим образом:
И брошу ложку дёгтя в бочку с мёдом! КОНЕЧНО ЖЕ реализация этого чуда невозможна без наличия грамотно внедренного и работающего функционала Бизнес-глоссария! Удивлены? А всё просто: сначала было слово... Для начала нужно описать данные, которые мы хотим куда-то перемещать, и сформировать требования к ним: к формату, типам, размерности, периодичности и т.п. И сразу заживём как завещают в data intelligence подходе! :)
Ну и напоследок бизнес-эффекты, а как же без них:
На сегодня пока всё. Будет ещё Часть 3.
Все новости канала можно получать и читать в Телеграм: t.me/...all
