Добавить в корзинуПозвонить
Найти в Дзене
CODERIKK

🔹 ETL vs ELT: куда и когда делать трансформацию

🔹 В чём практическая разница между ETL и ELT? 🔸 ETL (Extract, Transform, Load) и ELT (Extract, Load, Transform) появились потому, что нужно решить, где выполнять трансформация данных — до загрузки или внутри хранилища. Без этого данные часто приходят «грязными» или не в том виде, что мешает аналитике и увеличивает расходы на хранение. 🔸 ETL выполняет трансформацию до загрузки — подходит, если источники ограничены или нужно уменьшить объём до попадания в хранилище. ELT выполняет трансформацию в хранилище — хорош, когда у хранилища есть вычислительная мощность и вы хотите хранить сырые данные для разных задач. 🔸 Пример ELT: загрузили сырые события в raw.events, затем делаем трансформацию прямо в хранилище SQL. INSERT INTO analytics.events_clean SELECT user_id, to_timestamp(ts) AS event_time, lower(event_type) AS type FROM raw.events; 📚 Коротко: ETL — трансформации до загрузки; ELT — трансформации в хранилище. Выбирай по мощности хранилища и требованиям к сырым данным. #CODERIK

🔹 ETL vs ELT: куда и когда делать трансформацию

🔹 В чём практическая разница между ETL и ELT?

🔸 ETL (Extract, Transform, Load) и ELT (Extract, Load, Transform) появились потому, что нужно решить, где выполнять трансформация данных — до загрузки или внутри хранилища. Без этого данные часто приходят «грязными» или не в том виде, что мешает аналитике и увеличивает расходы на хранение.

🔸 ETL выполняет трансформацию до загрузки — подходит, если источники ограничены или нужно уменьшить объём до попадания в хранилище. ELT выполняет трансформацию в хранилище — хорош, когда у хранилища есть вычислительная мощность и вы хотите хранить сырые данные для разных задач.

🔸 Пример ELT: загрузили сырые события в raw.events, затем делаем трансформацию прямо в хранилище SQL.

INSERT INTO analytics.events_clean

SELECT user_id, to_timestamp(ts) AS event_time, lower(event_type) AS type

FROM raw.events;

📚 Коротко: ETL — трансформации до загрузки; ELT — трансформации в хранилище. Выбирай по мощности хранилища и требованиям к сырым данным.

#CODERIKK #Dictionary #Junior

➡️ Мы в Telegram - Сетке - Дзен

Буду рад вашей реакции здесь⬇️