При подготовке аналитической отчетности данные проходят несколько этапов: Извлечение из источников → Загрузка в DWH → Очистка и трансформация → Формирование витрин → Визуализация в BI Каждый этап может включать несколько операций. Например, необходимо дождаться загрузки данных из 1С и CRM, проверить их корректность, обновить таблицы корпоративного хранилища, выполнить dbt-модели и только после этого обновить дашборды. При этом задачи выполняются с разной периодичностью и зависят друг от друга, поэтому...

В работе с Big Data используется много разных инструментов. Даже для одних и тех же задач существует несколько технологий, у каждой из которых свои особенности и недостатки. Может быть сложно разобраться во всем этом многообразии и что-то выбрать. Чтобы помочь в этом, мы расскажем об одном из инструментов — Apache Spark. Вы узнаете, что это такое, как он используется при работе с большими данными и чем он может помочь. Также мы сравним его с другой похожей технологией — Hadoop MapReduce. Что такое...