Что такое Qlik Sense?

Полная статья: https://qliksense.ivan-shamaev.ru/chto-takoe-qlik-sense-biznes-analitika-navyki-dlya-razrabotki/

Если объяснять простым языком, то Qlik Sense – это программа для анализа данных, что-то похожее на Excel, но больше заточенное на загрузку данных, их обработку и визуализацию. С помощью программы Qlik Sense Вы сможете 1 раз запрограммировать загрузку данных, настроить отчеты и в дальнейшем каждый день анализировать актуальные данные в программе. При этом система, в отличие от Excel, будет стабильно работать.

В отличие от QlikView, Qlik Sense инструмент для анализа данных с адаптивной версткой (визуализация строится на основе web принципов/механизмов).

Теперь перейдем к маркетинговому определению:

Qlik Sense – это приложение для построения визуализации, исследования и мониторинга данных. Qlik Sense — новый продукт компании Qlik, BI-платформа с ассоциативным поиском в оперативной памяти со встроенными средствами ETL. Выпущена в 2014 году и отличается возможностями к более самостоятельной работе с данными для бизнес-пользователей в отличие от продукта QlikView, которым в большей степени управляли ИТ-специалисты. Использует движок второго поколения (QIX), визуализация разработана с использованием HTML5, CSS и JavaScript (за счет чего аналитические приложения имеют адаптивную верстку и за счет этого их можно использовать на любых устройствах).

Аналитическая система Qlik Sense позволяет собрать информацию из разрозненных источников в единую информационную систему. При этом для Qlik Sense не нужно специальное хранилище данных.
Если Ваши исходные данные таблицы Excel, то Вы сможете даже без помощи ИТ-специалистов загрузить данные в приложение, просто перетащив файлик в Qlik Sense.

Qlik Sense использует ассоциативную модель связи данных. Преимущество ассоциативной модели данных: динамические ассоциации, возможность исследования данных в любом направлении, понимание взаимосвязей данных, видение всех взаимосвязей между данными.

Qlik Sense может импортировать данные из самых различных источников, агрегировать их и рассматривать по различным схемам и моделям данных. Обеспечивается контакт практически с любой базой данных через ODBC и DB OLE, включая источники Big Data, такие, как Cloudera, Hortonworks, Vertica и Teradata.
Загрузку данных из облачных систем (API -> JSON) можно осуществлять с помощью QLIK REST-коннектора, а также при помощи PHP в формате CSV (эта технология будет рассмотрена в продвинутой части курса).

Насчет самостоятельности анализа данных бизнес-пользователями…

Сразу хочу попросить прощения у маркетологов продукта Qlik Sense, но произнося фразу “эта платформа для самостоятельного анализа данных” – вы лукавите! Вы не врете, а привираете. И вот в чем: самостоятельный анализ данных на уровне Excel, когда нужно использовать только функции sum, count, avg и т.д. без set analysis, без переменных, без сложной модели данных, без программирования загрузочного скрипта – это 30% от всех возможностей этой платформы.

Опять же, загрузка данных из баз данных, очистка данных, выверка данных – это все остается за скобками маркетинговых материалов и с этим обычный бизнес-пользователь никогда не будет работать.

Поэтому если Вы, дорогой читатель этого онлайн учебника, “купились” на термин платформа для самостоятельного анализа данных, то не испытывайте больших иллюзий. При появлении сложной формулы на листе бумаги, Вам придется погрузится в написание скриптов, хотя бы просто узнаете, что такое Set Analysis.

Что такое бизнес-аналитика? И причем здесь Qlik Sense?

Бизнес-аналитика (Business Intelligence = BI) – это обозначение компьютерных методов и инструментов, позволяющих собирать, хранить и анализировать большой объем данных из разных систем учета. Системы бизнес-аналитики предоставляют информацию бизнес-пользователям в форматах:

• Дашборд (Dashboard)
• Аналитические панели для исследования данных
• Таблицы, конструкторы отчетов (Ad-Hoc) для погружения в детальные данные

Конечная цель бизнес-аналитики – это выработка и принятие эффективных решений для управления бизнес-процессами организаций, управления компанией в целом, работой с рынком (разработка стратегий).

И еще одно похожее определение бизнес-аналитики:

Бизнес-аналитика – это методы и инструменты для построения информативных отчетов о текущей ситуации для принятия управленческих решений. Помимо отчетности туда входят инстументы интеграции и очистки данных, аналитические хранилища данных и средства Data Mining.

BI-технологии позволяют анализировать большие объемы информации, заостряя внимание пользователей лишь на ключевых факторах эффективности, моделируя исход различных вариантов действий, отслеживая результаты принятия тех или иных решений.

Qlik Sense – позволяет закрыть на 99% всех потребностей организации в отчетности.

Какие навыки нужны для того, чтобы начать использовать Qlik Sense?

Навыки для Уровня 1 – Qlik Sense Level 1

Навыки, которые требуются до изучения базового уровня Qlik Sense:

SQL базовый уровень (Select запросы, Join, Where, Group By). Остальное придет с опытом

• Понимание основ проектирования реляционных баз данных, см. статью https://iiba.ru/vvedenie-v-proektirovanie-baz-dannih/

Как ни странно, но больше ничего знать не нужно, кроме предметной области бизнеса и методов анализа данных (например в Excel ABC-анализ).

Навыки для Уровня 2 – Qlik Sense Level 2

С продвинутым уровнем все гораздо сложнее Итак, перечень входных навыков:

• HTML, CSS, JS;
• PHP;
• PowerShell;
• Хорошее знание синтаксиса Qlik;
• …

Какой BI инструмент начать осваивать в 2018 году? Как выбрать систему бизнес-аналитики?

За последние несколько релизов Qlik Sense сделал огромный рывок на рынке BI. Теперь нет сомнений, что компания Qlik останется в лидерах Gartner Magic Quadrant for BI and Analytics. Если Вы планируете изучать BI-инструменты или хотите выбрать систему аналитики и внедрить в компании, то без каких либо сомнений выбирайте Qlik Sense

Если Вы выбираете между QlikView и Qlik Sense, то вот еще 1 “За” в сторону Qlik Sense. Проводил опрос в чате QlikView Qlik Sense:

Ассоциативная работа. Ассоциативная модель данных. Движок Qlik Sense

Qlik Sense автоматически управляет всеми связями данных и представляет информацию пользователю с помощью схемы green/white/gray. Выборки подсвечиваются зеленым цветом, связанные данные представляются белым, а исключенные (несвязанные) данные отображаются серым цветом. Мгновенный ответ позволяет пользователям обдумывать новые вопросы и продолжать свое исследование.

Ассоциативная модель – это таблицы, которые связаны между собой по ключевым полям. Ассоциативная модель создается динамически при загрузке данных в Qlik Sense, при этом поля с одинаковыми названиями ассоциируются друг с другом. При выборе пользователем значения в одной таблице автоматически выбираются все ассоциированные значения в других таблицах.

Например, пусть у нас есть модель, в которой в одной таблице находятся заказы, в другой таблице находятся клиенты, в третьей таблице – товары. При выборе клиента, автоматически выбираются все заказы, сделанные этим клиентом. Так как таблица заказов связана (ассоциирована) также с таблицей товаров, то кроме всех заказов данного клиента автоматически выбираются и все товары, купленные этим клиентом. И наоборот — при выборе товара, автоматически выбираются все заказы, где фигурирует этот товар, и все клиенты, сделавшие эти заказы, а значит купившие этот товар. Для ассоциативной модели не требуются заранее прописанные сценарии анализа. Она позволяет начинать анализ данных с любого места модели в любом направлении.

Подробное описание состояний выборок: зеленый, белый и серый

Во время выборок выполняется фильтрация множества данных, загруженных в программу QlikSense. С помощью выборок можно добраться до детальных данных, причин отклонений (выборка – ограничение области данных с целью узнать подробности процессов, деталей операций и т.д.).

При выполнении выборки в фильтрах меняются цвета значений/состояний. Типичные цвета программы Qlik Sense — зеленый, белый и серый. Они представляют основные состояния: выбранное, возможное и исключенное. Исключенные значения существуют в трех различных вариантах. Помимо обычного исключенного состояния существуют также альтернативное состояние и выбранное исключенное состояние.

Цель цветового кодирования — дополнительная информация. Зеленый цвет означает, что значение выбрано, белый — что значение можно выбрать, а серый — значение исключено. Особенно значения серого цвета несут в себе новую информацию о ранее неизвестных отношениях. Если значение неожиданно становится серым после выборки, значит, тут есть, над чем подумать. Возможно, у определенного региона нет торгового представителя, или этот продукт не продавался в течение целого квартала.

Плюсы и минусы Qlik Sense

Плюсы Qlik Sense

• Огромные возможности по визуализации на JavaScript (подключение абсолютно любых библиотек JS).
• Ассоциативная модель работает так же, как и мозг человека. Пользователь просто выбирает элемент и видит все возможные отношения этого элемента с другими элементами модели данных.
  Огромное количество возможностей для создания пользовательских объектов (расширенные визуализации, Mashups, Widgets).
• Открытый API – вы можете автоматизировать множество процессов обслуживания Qlik Sense, если для вас недостаточно стандартной функциональности.
• Мощный Set Analysis в выражениях, с помощью которого можно рассчитать очень сложные вещи довольно простым и понятным способом.
• Работает на мобильных устройствах: в отличие от Qlik View, Qlik Sense предназначен для работы с мобильными устройствами.
• Улучшенная работа с выбором точек на диаграммах с помощью “Lasso selection” – огромный плюс по сравнению с QlikView.
• Qlik Sense активно развивается, релизы выпускаются каждые три месяца. Соответственно, возможно многие минусы будут закрываться плюсами в ближайшее время. Нужно следить за обновлениями.
• В отличии от QlikView, в Qlik Sense Desktop (бесплатная версия) нет ограничений на открытие приложений, разработанных на другом компьютере. Поэтому Qlik Sense можно начинать использовать в компании в бесплатном формате, например, автоматизировав обновление приложения Qlik Sense и копирование приложений в нужную папку на определенные машины пользователей. При рабочих станциях с 8 Гб Qlik Sense – супер решение для малого бизнеса. А зная, как RAM память дешевеет каждый день, то никаких проблем нет!
• UPDATE 01/12/2018 Появился набор расширений “Dashboard bundle”, который Qlik обязался поддерживать. Подробнее в новости: Qlik Sense November 2018 – What’s New

Минусы

По сравнению с QlikView, у Qlik Sense гораздо меньше стандартных настроек визуальной части. НО: с каждым релизом появляются  расширения, которые делают Qlik Sense во многом впереди.

• Производительность десктопной версии Qlik Sense гораздо хуже. При одной и той же модели с одинаковым количеством данных, ресурсов на оперативную память Qlik Sense требуется гораздо больше, чем QlikView. На мой субъективный взгляд, это связано прежде всего с web-движком визуализации. Если дектопная версия QlikView – это легковесный exe, то десктопная версия Qlik Sense – это “зоопарк” различных технологий. Поэтому, если QlikView на 4Гб летает, то Qlik Sense – ползает. Тормоза наступают при использовании сложных формул. Опять же вводил одну и ту же формулу в QlikView и Qlik Sense на одинаковых моделях с одинаковым количеством данных.
  Коэффициент ухудшения производительности (опять же очень субъективно) от 4 до 7 при переходе с QlikView на Qlik Sense.

Бесплатная десктопная версия Qlik Sense (до релиза September 2018 включительно) очень медленно запускается. Аналогичная ситуация с Qlik Sense Cloud. По мне так QlikView работает гораздо быстрее (касаемо переходов между листами, между скриптом загрузки и визуализацией). Также очень медленно накатывается обновление ПО (установка новой версии Qlik Sense). При ошибке установки требуется деинсталляция старой версии Qlik Sense Desktop и повторная инсталляция новой версии. Очень сильно утомляет этот процесс 

• Требуется много технических знаний из разных областей ИТ и бизнеса для создания сложного решения, которое, безусловно, не является самообслуживанием для типичного бизнес-пользователя.
• Сетка должна быть меньше или даже редактироваться через параметры.

Для авторизации в Qlik Sense Desktop требуется доступ в интернет. Периодически возникают траблы при авторизации даже при наличии интернета. Толи действия роскомнадзора, то ли само ПО так тупит. Вообщем, топ-менеджмент точно это будет выводить из себя

• У таблиц отсутствует форматирование, нет обрамления ячеек. Выгрузив данные в Excel, придется каждый раз производить форматирование таблицы. Либо нужно ставить Extensions.
• Отсутствуют на данный момент (октябрь 2018 г.) Extensions в облаке.

При добавлении нескольких сложных KPI на лист, редакток листа начинает подтупливать (медленно работать). Справедливо для десктопной версии и при наличии сложных формул в KPI. Но в QlikView аналогичные KPI работают мгновенно

Отсутствует возможность на Desktop версии запустить Qlik Sense в фоновом режиме для работы через браузер. Было бы удобно, если бы Qlik Sense запускался как сервер Apatch, например Запустил компьютер, а Qlik Sense доступен через браузер.

• В чартах (визуализации) в Expression (выражениях) отсутствует функция поиска и замены значений. Может быть я не просто не нашел функцию, но по мне так это значительный косяк ПО по отношению к разработчикам. Теперь, чтобы выполнить замену в выражении чарта, приходится все выражение копировать в Notepad++ (например) и делать замену на стороне. Надеюсь, что в будущем появится замена в Expressions (а также массовая замена по всем Expressions).
• Автоматический apply всех изменений диаграммы в “режиме реального времени”. В минус, т.к. при большом объеме данных любая галочка, любые правки будут приводить к перерасчету диаграммы и огромным временным потерям на разработку отчетности. Потребуются навыки оптимизации Qlik Решений как со стороны модели, так и со стороны визуальной части.
• При большом количестве настроек диаграммы (вкладки настроек), все действия приходится выполнять в очень маленьком окошке (при работе на ноутбуке). Изменить шрифты нельзя, чтобы влезало. Развернуть панель настройки нельзя. Режима отдельного окна с настройками нет. Возникает неприятная мысль – “Разработчики Qlik Sense, Вы вообще думаете о юзабилити Вашего продукта?”. Надеюсь, что в ближайших обновлениях с этим что-то позитивное произойдет! Особенно актуально для библиотеки VizLib (Qlik Sense Extension Library).
• [Мысли при разработке на Qlik Sense Desktop]: В QlikView при расчете диаграммы можно было отключить ее расчет нажатием на крестик (полезная штука, особенно, когда ошибся в выражении и из-за этого приложение стало глючить). В Qlik Sense такого нет! При этом совершенно непонятно как сделать так, чтобы диаграмма перестала рассчитываться, если например почти не осталось свободных ресурсов на машине. Для того, чтобы полюбить Qlik Sense, Вам придется иметь хорошую машину для разработки, ну или для каждого измерения делать отдельную агрегированную таблицу с данными. Иначе диаграммы будут жестко лагать… Ну это уже не удобство разработки, а попытки извернуться, чтобы Qlik Sense Destop начал шевелиться.
• Если у Вас в компании Firewall стоит, то всякие коммерческие Extention могут сбоить…

Любые недостающие настройки аналитических приложений можно реализовать на JavaScript. С одной стороны это дает преимущество Qlik Sense над QlikView (в том, что разработка Extension сильно упрощена), но с другой стороны теперь разработчику нужно знать JavaScript и различные библиотеки JS. И это все в дополнение к различным аналитическим подходам, знаниям бизнеса, проектированию интерфейса, интеграцией с другими системами и т.д.
Либо нужно заводить двух специалистов – одного как Qlik Developer, второго в роли JavaScript Qlik Extension Developer. И все бы ничего, но каждые 2-3 месяца у Qlik Sense выходит обновление и при установке патчей необходимо закладывать временной ресурс на тестирование Extensions.

Источник: https://qliksense.ivan-shamaev.ru/chto-takoe-qlik-sense-biznes-analitika-navyki-dlya-razrabotki/