Создание промежуточной базы данных 1С для интеграции с Power BI

Многие наши клиенты уже оценили новые возможности, которые они получили благодаря использованию 1С:Аналитики. Однако сервис не всегда уместен, особенно если вы имеете несколько различных баз данных от разных разработчиков. Чтобы консолидировать всю информацию и получать полноценные отчеты, наш клиент решил использовать Power BI и мы поддержали его решение. В свою очередь мы помогли корректно расшифровать и экспортировать данные из программ 1С.Рассказываем, как мы это сделали и что из этого вышло.

Клиент: "Шлюмберже" – мировой лидер в области технологий для нефтяной и газовой промышленности, предоставляет своим Заказчикам все виды отраслевых технологических работ – поиск и разведка месторождений, бурение и измерение в процессе бурения, оценка параметров пласта, сервис скважин, заканчивание скважин и контроль за добычей, информационные технологии и консалтинг. Компания работает более чем в 100 странах мира. Персонал компании составляет более 50 тысяч сотрудников, 140 национальностей. Оборот компании в 2003 году составил 11,5 миллиардов долларов США.

Задача с которой обратились в RG-Soft

В компании используется много управляющих систем: различные конфигурации 1С, SAP, Lawson, Oracle. Откуда данные используются для построения консолидированных управленческих отчетов. Изначально весь процесс консолидации данных выполнялся в Excel, что отнимало большое количество времени на выборку данных, их загрузку и непосредственно само построение отчетов с промежуточными расчетами. Для автоматизации процесса компания приобрела Power BI – комплексное программное обеспечение бизнес-анализа. Данная система может интегрироваться с любыми источниками данных и собирать консолидированный отчет из разных источников. Дело в том, что лицензионное соглашение 1С запрещает напрямую получать доступ сторонним программам к базам данных конфигураций 1С и модифицировать их. Поэтому компании срочно требовалась промежуточная внешняя база, откуда бы осуществлялась трансляции важных данных из 1С в понятном пользователю виде.

Что мы сделали?

Разработали подсистему интеграции с Power BI:

• Мы создали базу данных 1С, куда транслируются актуальные данные из основной рабочей базы данных. Как раз с ней взаимодействует Power BI. Новая база работает на отдельном сервере, что ускоряет работу с отчетами, при этом не понижая быстродействие рабочей базы
• Система может выгружать как данные регистров , справочников, журналов документов, так и позволяет перерабатывать имеющиеся данные при помощи интерфейсов и конструкторов 1С. То есть все сложные расчеты проводятся «на лету» автоматически в промежуточной базе данных. Подготовленные данные непосредственно загружаются в Power BI для того, чтобы пользователь мог подготовить отчет необходимый отчет.
• Эта подсистема умеет преобразовывать ссылочные и другие скрытые данные 1С в понятное пользователю представление. Например, выгружая журнал документов мы разворачиваем ссылки и транслируем в базу Power BI читаемые объекты. Объект в данном примере будет содержать в себе и контрагента, и номенклатуру. То есть обращаясь через конструктор отчетов Power BI по данным запрашиваемым из 1С, пользователь видит не зашифрованные данные, а реальные названия.
• Данные копируются не полностью, а подгружается выборочная информация, которая интересует группу пользователей (например, номенклатура, выручка, складские данные и т.п.)
• Система выгружает все зависимости. То есть выгружается вся иерархия данных. Пользователь может комбинировать предоставление данных и дополнять их и т.п. Выгрузка представляет собой объектную модель. Документ-объект хранит в себе все необходимые ссылки, например на номенклатуру и прочее. Такой подход позволяет достаточно быстро обновлять данные в базе Power BI. Например, если изменился контрагент в рабочей базе 1С.