一个刚冒出来的工具,把对象存储灌进Postgres快得离谱

原创
alex 3天前 阅读数 10 #头条
你有没有遇到过把海量数据从S3、GCS之类的对象存储搬进Postgres时卡在数据加载这一步?pg_chdb是个刚挂上GitHub的小工具,思路简单粗暴——直接复用Postgres的COPY协议,绕过复杂中间层,让对象存储里的文件近乎"流式"地灌进数据库。项目来自ClickHouse团队,Hacker News上目前只有1分、0条评论,关注度几乎为零。但我认为这玩意儿值得多看两眼:数据工程师对高效导入的需求从来不缺,而pg_chdb把它做成了轻量插件,装上去就能用。问题是,ClickHouse自己搞一个Postgres生态的工具,是真想服务Postgres用户,还是给自己攒个数据出口?这点挺值得琢磨。

原文:Pg_chdb, fast imports from object storage to Postgres using COPY · 来源:Hacker News

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除