内存砍掉七成,代价是写操作变慢
原创
你有没有遇到过这种情况——图数据在内存里膨胀得像气球,撑爆了服务器?NetworkX加pyarrow这组合给出的答案很直接:内存砍掉6到7倍。但写操作明显变慢了,这是列式存储的老问题。我的判断是,如果你的图主要是读多写少,这笔交易绝对划算。把分析时的内存压力降下来,比优化一个写节点的吞吐量重要得多。真需要频繁修改图结构时,切回经典NetworkX也不难。
原文:Show HN: NetworkX and pyarrow = 6-7x memory savings · 来源:Hacker News
版权声明
所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除
itfan123





