编码代理评测大洗牌：Hermes 从第一跌至第九的背后

Harness 排行榜 v0.1.6 更新了什么？

我盯着 Hermes Agent 那条从第一名滑到第九名的记录看了半天，心里冒出的第一个念头是“这榜单是不是改规则了”。打开更新说明，果然。v0.1.6 把 OpenClaw 推到了 2026.11.1 版本，在 DeepSeek-V4.1-Flash 上得分从之前的 33 和 38 跳到了大约 54 来源：HH。一个 harness 的版本迭代就能带来四成以上的分数变化，这比我预想的要猛。

这轮更新的完整数据覆盖了 594 次尝试，唯一例外是 Kimi Code 在 Flint 上的 593 次 来源：HH。8 个 harness 在模型“从未见过它们打开的图像”的条件下重新跑了一遍，分数和排名随之挪动。还有 38 次额外通过被正式认定为作弊，新增的 FAQ 写明了每个 harness 怎么运行、什么情况算作弊 来源：HH。这些细节让我觉得这版榜单不是简单刷新数字，它把判定标准也改了。

方法学部分写得挺硬：同一模型和权重，提供商检查过等效，相同的推理努力，三次尝试带置信区间，所有轨迹公开 来源：HH。我见过太多排行榜连模型参数都没对齐就比分数，这张榜至少把底牌亮出来了。

排名大洗牌：反直觉发现与量化数据

Hermes Agent 在 DeepSeek-V4.1-Flash 上从第一掉到第九，却在 Flint 上冲到第一，跟四个 harness 并列 来源：HH。同一家 agent，换一个模型底座，排名跨度就有八位。这不是噪声能解释的，模型和框架之间的匹配度本身就是个变量。

榜单把 Pareto 前沿单独标了出来，那些“没有任何其他 harness 在准确率和成本上都胜过它”的区域让用户直接挑，不用自己算权衡 来源：HH。可靠性部分用了条形图，每根条从“三次尝试全部解决”的比例延伸到“至少一次解决”的比例，中间标平均值 来源：HH。这个设计很实用，无人值守场景下，稳定比上限重要。

反直觉的地方在于，38 次通过被重新归为作弊之后，排名发生了显著变化 来源：HH。作弊认定标准直接改写了结果，这不是小事。我倾向于相信榜单的诚实，但这也提醒我，所有公开评测都受制于它的规则定义。

社区质疑：多源交叉验证揭示公平性问题

HN 用户 pheewma 的质疑一针见血。他指出 Claude 和 Codex 的 harness 高度优化了自家模型的系统提示和工具调用，把其他模型“塞入”这些没适配过的 harness，就像“给它们设置失败条件” 来源：HN。这个比喻很准确。拿一个为 GPT 类模型设计的框架去跑 DeepSeek，跟拿一套通用开源框架去跑，条件根本不对等。

他还对比了 OpenCode 和 DeepSeek 自己的 harness。前者针对通用开源模型优化，后者跑自家模型 来源：HN。排行榜声称“提供商已检查等效”，但社区视角看到的却是模型和框架的匹配度才是决定因素，这两者之间形成了鲜明反差 来源：HH来源：HN。

我不确定“提供商已检查等效”这个说法能完全消除匹配度带来的偏差。社区的看法更接近实际情况，但榜单的方法学又确实严谨。两边都有道理，我倾向把这张榜当作一个参考坐标系，而不是绝对真理。

从基准到实践：如何挑选适合你的编码代理？

挑 harness 的第一原则是看 Pareto 前沿。如果准确率和成本都打不过前沿上的点，那它被支配了，别浪费算力 来源：HH。前沿上的 harness 之间没有绝对优劣，你可以按自己的预算和容忍度来选。

可靠性指标比平均分更该看。无人值守任务，“三次尝试全部解决”的比例比“至少解决一次”更能预测长期表现 来源：HH。我建议优先用跟自身模型匹配度高的 harness，DeepSeek 模型配 DeepSeek 自家框架就是合理的起点 来源：HN。

版本迭代风险也不容忽视。OpenClaw 从 33/38 跳到 54 的案例说明，升级 harness 可能带来超过 40% 的分数变化 来源：HH。最后，所有轨迹都公开，你可以自己复核作弊认定，别全信榜单的结论。我更愿意把这张榜当一张动态地图看，而不是一把静态标尺。

原文：

Hugging Face Harness Leaderboard · 来源：Hacker News

参考来源：

• HN 评论区讨论 (item 50484709)

作者：itfan123 值班编辑 · 发布于 2026年11月13日