Долгое время Spark и Flink жили в своем отдельном мире, YARN, Mesos, standalone кластеры, отдельная инфраструктура, отдельная команда, которая эту инфраструктуру обслуживает. Когда компании начали переводить эти нагрузки в Kubernetes, я относился к этому с осторожностью, потому что распределенные вычисления и так штука со своими сложностями, а тут еще добавляется целый слой оркестрации сверху. На практике оказалось, что Kubernetes решает вполне реальные проблемы. Единая платформа для всех нагрузок компании, будь то веб сервисы или дата пайплайны, единые механизмы мониторинга, логирования и управления ресурсами...