🔹 Типы пайплайнов: batch vs event-driven
🔹 В чём разница между классическим ETL (Extract, Transform, Load) и event-driven pipeline? 🔸 Чтобы решать разные проблемы: один путь — обрабатывать большие объёмы периодически, другой — быстро реагировать на события в системе. 🔸 batch pipeline: обрабатывает данные пачками по расписанию (ночные ETL), прост в отладке, хорош для тяжёлых агрегатов, но даёт высокую задержку и большие пиковые нагрузки. 🔸 stream pipeline: потоковая обработка, данные идут непрерывно; триггер (trigger) — событие, которое запускает обработку (например, сообщение в Kafka или webhook)...