В последнее время много говорят о семантических слоях. Я видел десятки компаний, использующих семантический уровень для масштабирования аналитики самообслуживания. Но даже при всех этих историях успеха у меня все еще возникает вопрос: “Стоит ли семантический слой затраченных усилий?” Другими словами, стоит ли овчинка выделки?
Итак, как понять, что вам нужен семантический слой? Исследовательская фирма DBP Institute, занимающаяся данными и аналитикой, провела опрос лидеров в области обработки данных и задала им тот же вопрос. В отчете The Business Impact of Using a Semantic Layer for AI и BI Институт DBP количественно оценивает влияние на бизнес наличия семантического слоя, используемого для достижения целей компании в области бизнес-аналитики (BI) и искусственного интеллекта (ИИ).
Результаты исследования впечатляют, как вы можете видеть на диаграмме ниже:
В этой статье мы рассмотрим некоторые ключевые выводы, которые показывают, что семантический слой может значительно повысить скорость предоставления аналитики и помочь масштабировать инициативы бизнеса при существенном снижении затрат.
Скорость
С начала эры анализа данных кажется, что технологии и организации, занимающиеся обработкой данных, никогда не смогут угнаться за потребностями бизнеса в данных. Семантический слой ускоряет процессы предоставления аналитики для бизнеса по следующим параметрам:
1. Ускоряет время поставки инсайтов
Семантический слой сокращает время, которое обычно тратится на поиск и анализ данных на источниках, так как предоставляет пользователям аналитики доступ напрямую к понятным и готовым для бизнес-анализа данным. Предоставляя пользователям “живые” данные в удобочитаемом виде и в привычных инструментах для работы, минуя этапы извлечения или импорта, мы не тратим время на перемещение, форматирование и предобработку данных для анализа.
2. Ускорение времени подготовки данных
Семантический слой сокращает или устраняет многие шаги по подготовке данных, используя маркетплейсы данных для преобразований (в оригинальной статье автор использует термин Data virtualization). Избегая физического преобразования данных с помощью инструментов ETL или ELT, семантический слой может создавать новые вычисления и очищать данные без необходимости физического сохранения этих преобразований.
3. Ускорение моделирования данных
Сегодня мы требуем, чтобы конечные пользователи предоставили нам модели данных, которые планируют потреблять с целью создавать свои диаграммы, таблицы, прогнозные модели или просто анализировать свои данные. Используя семантический слой, дата стюарды создают семантическую модель от имени потребителей данных, чтобы конечные пользователи могли приступить непосредственно к анализу и созданию информационных продуктов.
Масштабирование
Очень важно научится быстрее предоставлять аналитику бизнесу, но истинная демократизация данных требует масштабирования. Семантический слой помогает сделать большее количество данных доступными большему числу пользователей, за счет чего это происходит:
1. Расширение самообслуживания
Повсеместное внедрение инструментов “самообслуживания” принесло много положительных результатов, освободив пользователей от зависимостей, связанных с ИТ. Однако при этом современные инструменты визуализации, такие как Tableau и Power BI, требуют от своих пользователей стать экспертами по данным и продвинутыми пользователями SQL, разделив их на тех кто “умеет” и “не умеет” работать с аналитикой. Семантический слой делает данные доступными для всех, предоставляя пользователям логическое представление данных, а не в виде таблиц и столбцов базы данных. Наряду с наличием
встроенной поддержки таких инструментов как Excel, семантический слой выравнивает шансы на игровой доске, позволяя любому принимать решения, основанные на данных.
2. Расширение доступа к источникам данных
Эпоха единого, монолитного хранилища данных закончилась. Данные существуют во многих формах, включая озера данных, облачные хранилища данных и SaaS-приложения. Семантический слой скрывает от пользователей сложность хранения и различные форматы данных благодаря наличию удобного для бизнеса интерфейса, тем самым делая доступными для анализа больше источников данных.
3. Обеспечение согласованности показателей
Революция в аналитике самообслуживания значительно расширила круг создателей аналитики - это хорошо. Однако без элементарных ограничений все эти создатели могут подорвать доверие к данным, предоставляя альтернативные определения общепринятых бизнес-терминов и показателей, что плохо. Семантический слой упорядочивает эту вселенную, выступая в качестве центрального хранилища бизнес-определений организации. Теперь разработчики и аналитики могут создавать информационные продукты, не изобретая велосипед, повышая эффективность и доверие к данным.
Экономия затрат
Что касается эффективности, семантический слой может обеспечить существенную экономию средств несколькими способами:
1. Повышение ROI
Организации вкладывают значительные средства в создание хранилищ данных и приобретение всевозможных инструментов для своих бизнес-аналитиков, специалистов по обработке данных и разработчиков приложений. Семантический слой поможет оправдать эти инвестиции, предоставляя большему количеству пользователей доступ к большему количеству данных – по сути, побуждая большее число людей принимать больше решений, основанных на данных (data-driven).
2. Снижение затрат на вычисления
Если вы внимательно посмотрите на шаблоны запросов большинства BI, вы обнаружите, что они очень сильно похожи. По сути, пользователи задают одни и те же вопросы снова и снова. Эти повторяющиеся запросы значительно увеличивают затраты, поскольку большинство платформ облачных данных взимают плату с клиентов на основе потребления (объема прочитанных данных). Семантический слой поможет снизить эти затраты на порядок, перенаправляя запросы с таблиц детального слоя данных к агрегированным данным витрин. Поскольку семантический слой "понимает" семантику каждого запроса, то запрос может быть переписан так, чтобы использовать самый оптимальный способ с наименьшими затратами для ответа на вопрос пользователя.
3. Сокращение ручного труда
Построение конвейеров данных и повышение производительности запросов - трудоемкая и дорогостоящая задача. Что еще хуже, в динамичной среде с меняющимися шаблонами запросов и потребителями, жадными до данных, эта работа никогда не бывает полностью “выполнена”. Семантический слой значительно сокращает или устраняет эти ручные задачи, заменяя физические процессы ETL/ELT виртуализированными преобразованиями и автоматизируя настройку запросов с использованием искусственного интеллекта и машинного обучения.
Резюме
Как вы можете видеть выше, семантический слой поможет устранить разногласия и сделать данные доступными для всех пользователей в вашей организации. Сокращая ручной труд, семантический слой повышает способность организации быстрее и шире предоставлять новые данные бизнесу. Неудивительно, что семантический слой быстро становится важнейшим компонентом в современном стеке данных и аналитики.
Перевод и адаптация статьи David Mariani on November 28, 2022: What’s a Semantic Layer Worth? https://www.dataversity.net/whats-a-semantic-layer-worth
Поддержать канал | Подписаться на скачивание файлов | Читать в телеграм
