Pathway — крутой фреймворк для потоковой обработки данных в Python
Если вы работаете с потоками данных в реальном времени или хотите строить сложные аналитические пайплайны на Python — обратите внимание на Pathway. Это ETL-фреймворк с поддержкой как пакетной обработки, так и стриминга, построенный на высокопроизводительном движке на Rust. Pathway умеет делать инкрементальные вычисления, масштабируется от одного сервера до распределённых кластеров и отлично интегрируется с ML-библиотеками и LLM (большими языковыми моделями).
Плюсы: лёгкий старт (pip install pathway), поддержка Kafka, PostgreSQL, GDrive и других источников данных, встроенные трансформации, надёжность с сохранением состояния, одновременная работа с историей и live-данными, а ещё Docker- и Kubernetes-деплой.
Идеально для real-time аналитики, событийных систем, RAG и AI-пайплайнов. 🚀
#python #etl #streaming #rust #ml #dataengineering #analytics #ai
https://github.com/pathwaycom/pathway
https://vlad1kudelko.github.io
