Инструменты Оркестрации должны быть в арсенале каждого современного дата инженера. Специально для тех, кто хочет освоить это направление 16 августа в OTUS пройдет demo-занятие «Введение в Оркестрацию».
За 1,5 часа вы подробно разберете, что же такое платформы Оркестрации, какие решения есть сегодня на рынке и даже углубитесь в практический пример использования одной из самых распространенных платформ на сегодня — Apache Airflow. Вебинар проведет Максим Мигутин, эксперт с 5+ лет опытом в индустрии Данных & Аналитики в роли внешнего консультанта (IBM) и in-house лидер Data Engineering и Data Science-проектов.
━━━━❰･❉･❱━━━━
Чтобы данные приносили пользу, их анализируют и применяют в работе: выстраивают прогнозы, формируют отчеты, учитывают при принятии решений. На практике аналитическая обработка данных предполагает использование аналитических информационных систем — речь идет о комплексах ПО, собирающих и обрабатывающих данные. Как же устроены такие системы, и что они могут?
Итак, информационно-аналитическая система представляет собой комплекс, состоящий из нескольких программ и устройств. Они собирают, хранят, а также анализируют информацию с последующим предоставлением этой информации в удобном для пользователей виде.
Эти системы помогают:
- Трансформировать стратегию и миссию организации в конкретный набор показателей. К примеру, стоит цель в увеличении прибыли на 10 млн рублей в год. С помощью аналитической системы вы сможете построить модель бизнеса с этой прибылью, в результате чего будет видно, какие именно показатели надо поменять для достижения цели.
- Составлять достоверные финансовые планы (предсказывать прибыль, расходы, выполнять корректировку планов с учетом новых данных).
- Вести финансовую отчетность.
- Прогнозировать изменения в работе предприятия с учетом данных, полученных в реальном времени.
Технология OLAP
Технология OLAP (Online Analytical Processing) лежит в основе информационно-аналитических систем, при этом в основе самой OLAP находится обработка многомерных массивов данных. Но, в отличие от обычных данных, многомерные данные содержат от 3 и больше параметров, что позволяет оценить, каким образом эти параметры друг на друга влияют. Также есть возможность предсказать значение одной из переменных, используя значения остальных.
На картинке ниже — многомерная база, где учитывается дата покупки, покупатель и реализованный товар. При этом измерений может быть более 3-х, если к параметрам добавить, к примеру, фамилию менеджера либо номер филиала. Базу из 3-х измерений называют кубом, из 4-х и более — гиперкубом.
Структура информационно-аналитической OLAP-системы может быть представлена в виде 3-х компонентов:
— источники данных;
— OLAP-сервер;
— пользовательское приложение.
Данные из источников поступают на OLAP-сервер, там с ними проводится ряд операций по обработке, далее обработанные данные анализа поступают на приложения, с которыми взаимодействует пользователь.
При этом пользователи, к примеру, те же аналитики компании либо иные сотрудники, работают непосредственно с программными приложениями, которые могут визуализировать результаты аналитической обработки данных. Через программное приложение они отправляют запросы, выводят информацию, выполняют нужные вычисления и получают результаты. Этими результатами могут быть прогнозы для бизнеса, диаграммы и графики, корреляция показателей.
Откуда брать данные?
OLAP-системе для аналитической обработки информации нужны данные. Что может выступать в качестве источников этих данных:
• базы данных компании, CRM- и ERP-системы, где ведется учет продаж, клиентов, сотрудников, поставщиков, производственных процессов;
• хранилища данных — системы данных, в которых собраны все данные предприятия. Здесь можно накапливать данные из баз, CRM-систем либо напрямую с устройств, к примеру, с датчиков либо касс.
В хранилищах можно выделять отдельные «зоны» — так называемые витрины данных. Речь идет о срезе данных хранилища, в котором собрана тематическая информация. Эта информация относится к одному подразделению либо к направлению деятельности компании. К примеру, все данные по маркетингу, финансам, продажам. Данные из такой витрины извлекать удобнее и быстрее.
Статья написана по материалам блога MCS.Mail.ru
