Python 跑 JSON 解析跑到每秒十吉字节,这合理吗?

原创
alex 33分钟前 阅读数 2 #头条
我最近刷到一篇 Dan Lemire 的新文章,标题直接写"在 Python 中以十吉字节每秒的速率解析 JSON"。乍一看像标题党——Python 这种解释型语言,JSON 解析居然能跑到这个量级?但 Lemire 这人从来不靠噱头吃饭,他去年用类似思路把 CSV 解析推到了每秒上百吉字节,背后核心是 SIMD 向量化加零拷贝内存映射,Python 只是调用入口,真正干活的是编译好的 C++ 核。所以真正该问的问题不是"Python 能不能这么快",而是"你的瓶颈到底在语言层还是在算法层"。如果你的数据管线卡住了,先把这层想清楚,再谈选什么语言。

原文:Parsing JSON at gigabytes per second in Python · 来源:Hacker News

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除