🔹 Стратегии загрузки: full vs incremental — не тянуть весь мир
🔹 Когда делать full load, а когда incremental?
🔸 full load и incremental появились чтобы не перегружать источник и сеть: полная загрузка решает проблему простоты и согласованности, инкрементальная — уменьшает нагрузку и улучшает performance при больших объёмах.
🔸 full load = считываем всю таблицу заново; incremental = загружаем только новые или изменённые строки. CDC (Change Data Capture) — технология фиксации изменений, которая делает incremental точным и быстрым.
🔸 Используйте full load при первой загрузке или при мелких таблицах/разовых пересчётах; используйте incremental при больших данных, частых обновлениях и когда важна низкая latency.
🔸 Мини‑пример:
-- full load
SELECT * FROM users;
-- incremental
SELECT * FROM users WHERE updated_at > :last_run;
📚 Правило: небольшая полная загрузка дешевле сложного инкремента; при росте объёма переходите на incremental/CDC.
#Coderikk #ETL #Junior
➡️ Мы в Telegram - Сетке - Дзен
Буду рад вашей реакции здесь⬇️
