每秒百万token，Nori LLM是在画饼还是在划红线？

每秒处理超过一百万token——Nori LLM抛出这个数字时，我第一反应不是"好快"，而是"凭什么"。在推理延迟已经卷到毫秒级的当下，吞吐量才是大规模部署真正的瓶颈，而它直接把这个数字推到了新的量级。但问题在于，百万token每秒背后是多大的硬件代价？压缩了多少精度？还是只是换了个benchmark口径来比？目前这条新闻只有1分0评论，说明社区还没给出有力回应。我的判断：如果Nori真能在合理成本下兑现这个吞吐，它对边缘部署和实时对话场景会是实质性的推进；如果只是极限条件下的峰值数字，那它更像一张漂亮的幻灯片。

原文：Nori LLM: Achieving Over 1M tok / s · 来源：Hacker News