🔹 Типы пайплайнов: batch vs event-driven
🔹 В чём разница между классическим ETL (Extract, Transform, Load) и event-driven pipeline?
🔸 Чтобы решать разные проблемы: один путь — обрабатывать большие объёмы периодически, другой — быстро реагировать на события в системе.
🔸 batch pipeline: обрабатывает данные пачками по расписанию (ночные ETL), прост в отладке, хорош для тяжёлых агрегатов, но даёт высокую задержку и большие пиковые нагрузки.
🔸 stream pipeline: потоковая обработка, данные идут непрерывно; триггер (trigger) — событие, которое запускает обработку (например, сообщение в Kafka или webhook). Подходит для near‑real‑time задач.
🔸 Практика и масштабирование (scalability): комбинируют оба подхода — batch для бэкапов/больших пересчётов, stream для горячих путей; делайте триггеры идемпотентными и шардируйте потоки для масштабирования.
📚 Выбор: batch — экономия и простота, stream + trigger — низкая задержка и реактивность.
#CODERIKK #ETL #Junior
Буду рад вашей реакции здесь⬇️
