AI项目最蠢的浪费，藏在你压根没开的缓存里

我最近看到Revefi用基础prompt caching把数据代理的账单砍了下来。说实话这招一点都不新，但为什么还有人不用？答案可能让人尴尬：很多团队把预算全押在模型选型和微调上，却忽略了最朴素的推理成本优化。缓存命中率提一点，账单肉眼可见地变薄。Revefi的做法没有技术含量，却直击要害。问题从来不是"该不该缓存"，而是为什么它还没成为默认操作。一个连prompt caching都没上手的AI项目，就像不踩刹车就上高速——能跑，但你在赌命。

原文：A reminder on why basic prompt caching is so important · 来源：Hacker News