Добавить в корзинуПозвонить
Найти в Дзене
Craft Homelab

Streambed — PostgreSQL + S3 для аналитики без нагрузки на боевую базу

Хотите делать сложные аналитические запросы, не загружая боевой PostgreSQL и не мучаясь с ETL и Spark? Streambed решает эту задачу, транслируя изменения из WAL PostgreSQL в Parquet-файлы на S3 с метаданными Iceberg. Благодаря встроенному серверу запросов на DuckDB можно подключаться к данным через привычный psql по протоколу Postgres! Это простой способ масштабировать аналитику с минимальными изменениями в приложении — просто настрой и вперед. Отличный проект, если любите работать с данными и хотите легкую интеграцию cloud storage и аналитических движков в инфраструктуру. #postgresql #analytics #dataengineering #opensource #golang #cloud #iceberg #duckdb https://github.com/viggy28/streambed https://vlad1kudelko.github.io/

Streambed — PostgreSQL + S3 для аналитики без нагрузки на боевую базу

Хотите делать сложные аналитические запросы, не загружая боевой PostgreSQL и не мучаясь с ETL и Spark? Streambed решает эту задачу, транслируя изменения из WAL PostgreSQL в Parquet-файлы на S3 с метаданными Iceberg. Благодаря встроенному серверу запросов на DuckDB можно подключаться к данным через привычный psql по протоколу Postgres! Это простой способ масштабировать аналитику с минимальными изменениями в приложении — просто настрой и вперед.

Отличный проект, если любите работать с данными и хотите легкую интеграцию cloud storage и аналитических движков в инфраструктуру.

#postgresql #analytics #dataengineering #opensource #golang #cloud #iceberg #duckdb

https://github.com/viggy28/streambed

https://vlad1kudelko.github.io/