Найти тему
Николай Лазарев

Обработка данных нового производства

В виду того, что сделки по слияниям и поглощениям никто не отменял, иногда аналитику данных ставиться задача сформировать классическую отчётность для нового предприятия, вошедшего в структуру компании. Тут есть два пути, один правильный, а второй быстрый))). По факту разные исполнители реализуют и тот и другой вариант, но мне поручили подготовить отчётность быстро.

Итак, на входе выгрузки из 1С Предприятия по продажам, годовой план продаж, классификатор номенклатуры, классификатор контрагентов. Но это в идеальном мире. А в реальности иногда приходится консультировать ответственных за предоставление данных, как сформировать запрашиваемый файл.

Естественно, что структура данных не та, которая нужна мне. Поэтому пришлось потрудиться.

Первым делом преобразуем данные в нужную структуру. Для начала сделал это в Power BI.

В ближайшее время планирую перенести алгоритм в python.
В ближайшее время планирую перенести алгоритм в python.

Далее идёт основная обработка в python.

Загрузка нужных библиотек.

-3

Все основные шаги обработки распределены по функциям.

Функция загрузки данных по продажам.

-4

Функция загрузки классификатора номенклатуры. Ранее он был занесен в нашу базу данных поэтому загружаем оттуда).

-5

Данные по накладным расходам поступают из отдельного источника.

-6

Объединяем все функции загрузки в общую.

-7

Итак, файлы загружены. Начинаем первый этап обработки.

-8
-9

Второй этап, коротенький, но важный.

-10

Третий этап обработки, самый масштабный.

-11
-12
-13
-14
-15

Обработка данных завершена. Экспортируем в базу данных.

-16
-17

Ну и, собственно, запуск всех перечисленных функций!

-18
-19

На выходе имеем в базе обработанные данные в требуемой структуре. Их можно загружать в стандартную отчётность компании с помощью SQL-запроса.

Ссылка на мой код в GitHub!

Всем удачного кодинга!