За 5 лет работы сервиса myBI Connect мы достаточно хорошо изучили принципы API источников, их баги и скрытые недоработки ;) Но так или иначе данные в базе без визуализации, с помощью которых можно сделать выводы – практически бесполезны. Тут давайте еще один виток назад в 2016-й сделаем....
В предыдущей части статьи мы рассказывали про наш опыт проектной деятельности внедрения BI и появление отдельного сервиса для сбора данных, а в этой поделимся историями взаимодействия с системами визуализации и анонсами.
Один из вопросов, которые нам нужно было решить в начале нашей проектной деятельности – это выбор BI-среды для реализации отчетов. Первые демки myBI были реализованы в Qlik, но спустя короткий промежуток Сергей наткнулся на анонс Mirosoft Power BI, который по сути являлся компиляцией уже имеющихся у Microsoft продуктов – Power Query, Power Pivot, движок xVelocity. Состав и первспективы крутые и, как мы ожидали, совсем скоро он стал лидером рынка.
Мы начали делать первые проекты, почти сразу завели блог www.powerbirussia.ru для публикации своих кейсов и популяризации инструмента.
Сначала туда писали только мы, некоторые статьи на заказ переводили, для некоторых собирали целые проекты, чтобы написать качественный материал. Вот к примеру, самая популярная статья про основы моделирования в Power BI и модель Здезду – собрала более 25к просмотров. Надеемся, кому-то помогла;)
Чуть позже подтянулись партнеры сервиса со своими кейсами, другие желающие публиковаться, мы завели канал на youtube, начали вести прямые эфиры, стало повеселее. Сейчас там около сотни кейсов, несколько десятков учебных статей и часов 50 видео.
После решения перестать внедрять отчетность на основании данных myBI Connect еще некоторое мы помогали крупным российским и международным компаниям с применением Power BI на основании их внутренних данных, как правило, это была финансовая и управленческая отчетность. При разработке таких отчетов даже мои коллеги даже научились делать кастомные визуализации для ускорения работы отчетов с большим количеством дефолтных карточек. Но эту деятельность мы тоже со временем завершили.
Однако, тепло относиться к Power BI мы не перестали – во-первых, сами его применяли, во-вторых, его применяли пользователи myBI Connect в подавляющем большинстве, а им, конечно, хотелось помогать и делать это как-то системно. Поэтому мы начали вести сообщество с разборами решений пользователей (оно, кстати, не зашло по нашей оценке), а на основе него провели Онлайн-Хакатон по применению Power BI для задачи сквозной аналитики на живой выгрузке, которую предоставляет наш сервис.
При этом эти живые данные генерировали сами участники хакатона, получая рекламу, проходя регистрацию, вебинары и другие этапы участия. Благодаря этому они сразу вникали в логику сбора данных, с которыми им предстояло работать. В целом получилось занятно, на мой взгляд, про это все отдельный большой пост на vc писал.
Результат простой – мы собрали демо-базу и несколько сильных работ участников на ее основе, в которых прослеживается разный подход к решению задачи. Кроме самих участников любой желающий далее мог их изучить, скопировать, применить у себя - все в открытом доступе.
Вот решение победитей из Biarch. Кроме сквозной аналитики и расчета стоимости лида в нем еще и выбор модели атрибуции был реализован.
Хакатон 2.0 был посвящен изучению посещаемости блога Power BI Russia, содержал 2 номинации, более простые задания и длился целых 3 месяца! Из них пара была «учебных» – еженедельно мы выходили с вебинарами о применении Power BI и, в частности, использованию нашей структуры данных для задач Хакатона. Потом немного усложнили данные и сформировали конечные задачи.
В завершении мы провели полнодневную конференцию на два зала и примерно 20 докладов вместе с Biarch, тут тизер можно пощелкать, а полная запись на канале.
Там же было награждение двух номинаций и обзор работ победителей. Работы сейчас тоже в открытом доступе.
Еще одна наша "бородатая" идея это маркетплейс шаблонных отчетов на MS Power BI. Все выглядит достаточно логично – выгрузка myBI Connect имеет стандартную структуру, Power BI умеет делать файлы формата .pbit, в которых хранится модель, преобразования и визуализация, но сами данные появляются только при подключении к аналогичному источнику. Мы выгружаем данные шаблоны визуализируют, все складывается и выглядит как неизбежный успех, да?
Ну нет, если внедряли шаблоны, то сталкивались с многими проблемами: в самих источниках данных, в индивидуальных настройках сбора данных, в сборе, в том, что этот отчет нужно неизбежно помогать разворачивать клиенту, сопровождать, и самое важное – шаблоны очень часто бесполезны для реального бизнеса. Они редко отображают детали, скрытые в частных настройках источников данных и не отвечают на частные задачи менеджеров. В целом все это мы съели еще в 18-ом, тогда в сервисе тоже был шаблонный отчет на основании набора базовых выгрузок. Внедрение, настройка и консалтинг – это здорово, на этом можно зарабатывать, имея нужные квалификации, но с идет в разрез с saas концепцией, поэтому в 19-ом году этого отчета у нас уже не было;)
В этот раз идея была немного в другом. У нас не было задачи заработать на продаже, внедрении и доработках шаблонов, наоборот мы были бы не против, если бы на этом заработал бы кто-то другой, применив наш сервис. Поэтому мы потрясли партнеров и такие шаблоны подготовили они, они же занимаются внедрением и кастомизацией, если это требуется – но в «базовой» комплектации шаблон преоставляется as-is, стоит до 500 рублей и сопровождается подробной инструкцией.
Задача myBI Market не состояла в том, чтобы закрыть задачи конкретных ЛПР, а предоставить аналитикам наглядные и рабочие примеры моделей и визуализаций наших данных, которые можно подключить к триалу и сразу запустить, покрутить и изучить. Аналитик экономит 5-15 часов на изучение данных, построение модели, расчеты, визуализации по цене пары кружек кофе. В резульатет может наглядно посмотреть на структуру данных и перейти к расширению этого отчета. Стоит, конечно, отметить что шаблон экономит время на изучение, но не избавляет вас от необходимости его потратить, для применения и отчета и сервиса необходимо обладать достаточной квалификацией.
Чуть позже к этим отчетам мы добавили шаблонные модели, в которых не было визуализации вовсе и стоят они по 99 рублей. Тоже для удобства аналитиков, чтобы не собирать вручную огромные модели и не повторять то, что уже было сделано.
Автор отчета в myBI Market получает всю сумму продаж, комиссию за привлечение новых пользователей в наш сервис, обращения на доработки или внедрение новых отчетов. Вин вин, вроде? За год мы продали больше 200 шаблонов, если вы разработчик и хотите поучаствовать - пишите. Чуть позже сделаем небольшой отдельный пост с результатами и мыслями.
Итак, с одной стороны myBI Connect полюбили другие повербиайщики, мы предложили нормально работающую альтернативу костыльным выгрузкам через Power Query, с другой стороны это сыграло злую шутку – у многих оставалось впечатление, что мы некая приблуда для Power BI, но это не так. На самом деле нами, конечно, пользовались и любители других систем, вот мой любимый пример – разные отделы отдой компании использовали данные myBI Connect так, как было удобно каждому: с помощью Qlik, Excel и Metabase. Таймкод - 11:15:
Примерно так мы развивались, всячески используя и продвигая MS Power BI и Azure, но в начале этого года история показала, что нужно быть более независимыми и пластичными, чтобы выживать. И тут в очередной раз на передний план выходят заслуги нашего технического директора Сергея Казицина.
Пока я чесал голову в легком ступоре, Сергей придумал и реализовал сразу пачку значимых решений, время для анонсов:
Во-первых, мы развернели сервис в Яндекс Облаке, для хранения данных мы предоставляем СУБД PostgreSQL или MySQL, в остальном все работает абсолютно идентично и пользователи могут выбирать между Microsoft Azure и Яндекс Облако при работе с триалом. Вместе с этим реализована миграция, версионирование представлений для разных СУБД и многое, что рядовому пользователю незаметно. Работает стабильно, быстро, но имеет некоторые особенности при подключении к облачному Power BI.
Следующий логичный шаг – посмотреть на другие системы визуализации данных. Легко догадаться, что в поле зрение первым делом оказался Yandex Datalens. Мы присмотрелись и поработали с ним. В целом инструмент рабочий, требует времени на изучение, требует очевидных доработок, над которыми работает команда и выкатывает обновления, но сравнивать его в Power BI, конечно, рано и некорректно. В рамках текущих функций мой коллега Алан собрал вполне адекватный шаблон для отображения данных по продажам.
Отчет работает на основании данных нашей выгрузки из amoCRM в PostgreSQL Яндекс Облака, содержит данные по сделкам, задачам и звонкам. Уже примерно месяц мы пытаемся добавить его в Marketplace Yandex Cloud, чтобы все пользователи могли развернуть его, подключив к своей выгрузке myBI Connect, но пока тщетно;( Поэтому решили анонсировать тут, устали ждать.
Здесь находится демо-отчет на случайных данных, чуть подробнее про него, Datalens и другие шаблоны расскажем чуть позже. Если, конечно, интерес к ним будет...
Еще одно важно изменение, которое происходит прямо сейчас это изменение цен. Его мы планировали еще в прошлом году, поэтому резкое повышение цен всех облаков на 40-60% заставил нас тоже достаточно стремительно поднять цены. Для Azure стоимость выросла в 2 раза, для Яндекс Облака появилась новая система тарификации.
Ну и наконец, в стремлении к независимости Сергей решил не останавливаться и попробовать подружить нас с еще одной цепочкой решений, которая позволяет строить визуализации внутри интерфейса. Если быть точнее: сначала делать дополнительные преобразования с данными – агрегировать в куб по заданным правилам, запрашивать данные из куба и строить продвинутые визуализации. Конкурировать с BI платформами мы, конечно, не планируем, но некоторые задачи пользователей этот функционал закроет, а сам сервис станет немного шире чем просто ETL. Вторая картинка в этой статье как раз кусочек этого функционала в интерфейсе. Но об этом в следующих сериях...
С этой статьей я немного затянул, следующая будет уже через пару дней. Лайки, подписки очень нужны, чтобы было веселее писать.