🔹 Когда делать full load, а когда incremental? 🔸 full load и incremental появились чтобы не перегружать источник и сеть: полная загрузка решает проблему простоты и согласованности, инкрементальная — уменьшает нагрузку и улучшает performance при больших объёмах. 🔸 full load = считываем всю таблицу заново; incremental = загружаем только новые или изменённые строки. CDC (Change Data Capture) — технология фиксации изменений, которая делает incremental точным и быстрым. 🔸 Используйте full load при первой загрузке или при мелких таблицах/разовых пересчётах; используйте incremental при больших данных, частых обновлениях и когда важна низкая latency. 🔸 Мини‑пример: -- full load SELECT * FROM users; -- incremental SELECT * FROM users WHERE updated_at > :last_run; 📚 Правило: небольшая полная загрузка дешевле сложного инкремента; при росте объёма переходите на incremental/CDC. #Coderikk #ETL #Junior ➡️ Мы в Telegram - Сетке - Дзен Буду рад вашей реакции здесь⬇️