BI-аналитика становится незаменимым инструментом для принятия решений в современном бизнесе. И если вы используете Битрикс24, то BI-конструктор может стать вашим мощным союзником в работе с данными. Однако чтобы создавать эффективные отчеты и визуализации, необходимо хорошо понимать, что такое датасеты и как с ними работать.
Что такое датасет и почему он так важен?
Датасет — это основа любого BI-отчета, связующее звено между сырыми данными в Битрикс24 и конечными отчетами или дашбордами. По сути, это подготовленный набор данных, который включает:
- Источник данных (таблицы из Битрикс24)
- Параметры и фильтры для обработки данных
- Метрики (вычисления)
- Поля и их настройки
- Вычисляемые столбцы
Хорошо подготовленный датасет позволяет:
- Быстро создавать различные отчеты на его основе
- Обеспечивать единообразие данных во всех отчетах
- Избегать дублирования работы при создании новых отчетов
- Оптимизировать нагрузку на систему
Типы датасетов в BI-конструкторе
В BI-конструкторе Битрикс24 существует два основных типа датасетов:
Физические датасеты
Данные физически хранятся в BI-системе. Примеры:
- Импортированные CSV-файлы
- Данные, загруженные из внешних источников
- Кэшированные результаты запросов
Преимущество физических датасетов — высокая скорость обработки, так как данные уже загружены в систему. Однако они требуют обновления при изменении исходных данных.
Виртуальные датасеты
Данные запрашиваются из источника "на лету" при обращении к отчету. Примеры:
- Данные из таблиц Битрикс24 (сделки, контакты, лиды)
- Комбинированные данные из нескольких источников
Виртуальные датасеты всегда содержат актуальные данные, но могут работать медленнее физических, особенно при больших объемах информации.
Пошаговое создание виртуального датасета
Рассмотрим процесс создания виртуального датасета в BI-конструкторе Битрикс24:
Шаг 1: Открытие SQL LAB и написание запроса
- В BI-конструкторе перейдите в раздел "SQL LAB"
- Напишите SQL-запрос для получения нужных данных
Пример простого запроса для создания датасета сделок:
Этот запрос получает все поля из таблицы сделок и добавляет к ним одно пользовательское поле.
Шаг 2: Тестирование запроса
Обязательно протестируйте запрос, нажав кнопку "Выполнить". Убедитесь, что:
- Запрос выполняется без ошибок
- Возвращаемые данные соответствуют ожиданиям
- Количество записей адекватно (не слишком много, не слишком мало)
Шаг 3: Сохранение запроса как датасет
- Нажмите "Сохранить" → "Сохранить как" → "Датасет"
- Задайте информативное имя и описание датасета
- Укажите схему, в которой будет сохранен датасет
Шаг 4: Настройка параметров, полей и метрик
После создания датасета важно правильно настроить его компоненты:
- Параметры: добавьте параметры для фильтрации данных
- Поля: определите типы данных для полей (строка, число, дата)
- Метрики(Меры): создайте вычисляемые столбцы для анализа
Настройка полей и метрик (Мер)
После создания датасета вы можете настроить его поля и метрики для улучшения работы с данными:
Настройка полей
- Определение типов данных: Для каждого поля выберите соответствующий тип данных (строка, число, дата, логическое значение)
- Группировка полей: Объедините связанные поля в группы для удобства работы
- Описания полей: Добавьте понятные описания для всех полей, чтобы пользователи понимали их назначение
Создание вычисляемых столбцов
Вычисляемые столбцы позволяют создавать новые метрики на основе существующих данных:
- Расчет конверсии: COUNT_IF(opportunity > 0) / CAST(COUNT(*) AS DOUBLE)
- Расчет маржи: (price_exclusive - cost) * quantity
- Работа с датами: DATE_FORMAT(date_create, '%Y-%m')
Настройка агрегирующих функций
Для числовых полей можно настроить агрегирующие функции:
- SUM (сумма)
- AVG (среднее)
- MIN/MAX (минимум/максимум)
- COUNT (количество)
Оптимизация датасетов для повышения производительности
Для повышения скорости работы с датасетами рекомендуется:
Оптимизация запросов
- Избегайте SELECT * : Запрашивайте только нужные поля, особенно для больших таблиц
- Правильное использование JOIN: Используйте правильные типы соединений (LEFT JOIN, INNER JOIN)
- Предварительная фильтрация: Добавляйте условия WHERE для уменьшения объема обрабатываемых данных
-- Плохой пример:
-- Хороший пример:
Оптимизация типов данных
- Правильные преобразования типов: Используйте CAST для преобразования типов
- Работа с NULL-значениями: Применяйте COALESCE для корректной обработки NULL-значений
Индексация и кэширование
- Регулярное обновление: Настройте расписание обновления для физических датасетов
- Кэширование результатов: Для часто используемых отчетов настраивайте кэширование результатов
Важные правила работы с датасетами
Чтобы избежать проблем при работе с датасетами, соблюдайте следующие правила:
- Редактируйте запросы только через интерфейс редактирования датасета. Если перезаписать датасет через SQL LAB, вы потеряете все настройки полей, метрик и параметров.
- При добавлении новых столбцов обязательно выполняйте синхронизацию полей. Это позволит системе корректно обработать новые данные.
- Внимательно проверяйте запрос перед сохранением. Если запрос не возвращает строк (например, из-за ошибки), при синхронизации все поля будут удалены.
- Создавайте документацию к своим датасетам. Для каждого датасета добавляйте описание его назначения, структуры и особенностей использования.
Практические советы по работе с датасетами
Иерархия датасетов
Рекомендуется создавать датасеты с разной степенью обработки данных:
- Базовые датасеты с минимальной обработкой, содержащие исходные данные из таблиц
- Промежуточные датасеты с предварительной подготовкой данных
- Специализированные датасеты для конкретных отчетов с агрегацией и вычислениями
Модульный подход
Разбивайте сложные задачи на модули:
- Отдельный датасет для клиентов
- Отдельный датасет для сделок
- Отдельный датасет для соединения этих данных
Такой подход позволяет переиспользовать датасеты и упрощает их поддержку.
Практические примеры использования датасетов
Пример: Анализ продаж по менеджерам
Датасет для анализа эффективности менеджеров:
На основе этого датасета можно создать отчеты:
- Выручка по менеджерам за период
- Количество сделок в работе
- Средний чек по менеджерам
- Конверсия из лида в сделку
Больше примеров в нашем Telegram канале
Заключение
Датасеты являются фундаментом аналитики в BI-конструкторе Битрикс24. Правильно спроектированный и настроенный датасет значительно упрощает создание отчетов и визуализаций, обеспечивает единообразие данных и повышает производительность системы.
Чтобы эффективно использовать датасеты:
- Тщательно продумывайте структуру датасетов
- Оптимизируйте запросы для повышения производительности
- Создавайте правильную иерархию датасетов для разных уровней агрегации
- Документируйте свои датасеты для упрощения работы команды
- Регулярно пересматривайте и оптимизируйте существующие датасеты
Освоив работу с датасетами, вы сможете создавать информативные и производительные аналитические отчеты, которые помогут вашему бизнесу принимать лучшие решения на основе данных.
А какие датасеты вы используете в своей работе с BI-конструктором? Делитесь опытом в комментариях!
〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️〰️➤
Разработка BI-отчетов - консультации и помощь в разработке индивидуальных BI-отчетов в BI-Конструкторе Битрикс24
Телеграм канал про BI-Конструктор - изучаем с нуля BI-Конструктор Битрикс24