你的代码AI,开工前先烧了多少Token?
原创
11个主流编程Agent,还没碰一行代码,就已经悄悄发出去了。我在看这个基准测试时有点意外——每个Agent的"系统提示"开销差异巨大,有的轻装上阵,有的却背着几万字背景文档进场。这让我开始怀疑:我们一直在优化prompt质量,可真正的效率瓶颈,是不是在"还没开始"之前就已经消耗完了?Harness overhead这个词组说得挺准确,它不像模型推理那样显眼,更像是一种隐形的、持续的成本。下次评估你的coding agent,别只看它写得多好,先看它开工前的第一笔开销。
原文:Harness overhead benchmark: tokens 11 coding agents send before the task starts · 来源:Hacker News
版权声明
所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除
itfan123




