砍掉三分之二输入token，省的是钱还是质量？

跑大模型时，输入token的开销始终是硬成本。我最近刷到一个叫squeeze的小项目，初步基准测试显示整体输入token缩减了65%。三分之二没了，输出质量还能保住吗？说实话这个幅度相当激进。仓库很新，Hacker News上零讨论，社区尚未给出验证。但核心思路值得认真看：如果提示压缩真的能不损失关键信息，推理成本直接腰斩，等于给所有依赖长prompt的场景省了一大笔钱。早期数据不足以下定论，不过这个方向确实戳中了LLM规模化部署的最大痛点。

原文：Early results show 65% fewer input tokens overall · 来源：Hacker News