В мире, где информация валится на нас мощными потоками, два термина стали классикой жанра: ETL и ELT. Если вы не в теме, могу вас уверить, что это не о позвонках позвоночника. Нет, ETL (Извлечение, Преобразование, Загрузка) и ELT (Извлечение, Загрузка, Преобразование) — это два стиля обработки данных, которые определяют как мы общаемся с информацией. Попробуем провести разбор, чтобы понять, какие гречка лучше варить, а какие сразу доливать в чан. Начнем с ETL. У этого процесса три неотъемлемых этапа: А теперь берём ELT...

Самая дорогая часть аналитики — не дашборд. Самая дорогая часть — интеграции и трансформации данных. Там рождаются «почему не сходится» и «давайте ещё один файл». Термины на 1 минуту: На практике чаще всего работает гибрид: грузим «сырые» данные в слой Raw, затем строим “правильные” витрины. 1) Каждый источник — отдельный контракт данных. Что, когда, в каком формате, что считается ошибкой. 2) Идентификаторы важнее названий. Нужны стабильные ключи: SKU_ID, Client_ID, Distributor_ID. 3) Справочники — не “потом”...