缓存本该透明,Gemini 4 Argon 却让我撞上了一堵墙

原创
alex 7分钟前 阅读数 1 #头条
我本来以为缓存层是基础设施里最无聊的一环——命中返回,未命中回源,没什么悬念。但 Gemini 4 Argon 的缓存行为让我重新想了一想这件事。作者从实际调用里发现,它的缓存策略并不像文档暗示的那样线性可预期:某些请求明明命中了前缀,返回却出人意料;时序、上下文长度和批处理之间还引入了额外的不确定性。这不是 bug,更像是工程权衡留下的"暗角"——为了吞吐和成本,命中窗口被有意收窄。我的判断很直接:重度依赖 Gemini 4 Argon 的团队,光读 API 文档远远不够,必须把缓存当黑盒反复实测。基础设施的承诺从来不是零成本的,透明性往往是最先被牺牲的那一项。

原文:Caching in Gemini 4 Argon has some quirks · 来源:Hacker News

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除