ZeroBench：为什么“不可能”的视觉基准让大模型集体失分？

设计意图：如何制造一个“不可能”的基准？

我第一次看到ZeroBench这个名字时，心里冒出的问题是：一个“不可能”的视觉基准，到底是用来为难谁？翻完论文和项目页，我大概明白了。这个基准由Jonathan Roberts等20余位研究者共同发布，专门用来挑战当代大型多模态模型。Roberts在Mistral任职，但项目页明确写着，他是独立于自己在Mistral的职务来维护这个基准的，算是一种利益冲突的预防措施 来源：ZeroBench。

基准的演进也值得琢磨。2025年2月发布v1，3月出了v2，12月又出了v3。v3对两道问题和三道子问题重新措辞，v2版本仍然可以获取 来源：ZeroBench。论文后来被ICML 2026接收，代码和数据集也一并公开。到2026年8月，评估协议又更新了一次，这次更新很有意思：经过Fable 5的红队测试，0.71%的评分被修正，但ZeroBench问题本身保持不变 来源：ZeroBench。

设计意图很直白，题目就是追求“不可能”，让当代多模态模型难以解决。我理解这种思路，它不是为了测模型的平均能力，而是想看看在什么边界上，模型会集体失分。

数字对比：官方评估与外部报告的分歧

看数据的时候，我注意到一个明显的口径问题。官方评估覆盖了73个模型，另外还有296项外部报告结果，这些外部结果里，大约一半来自模型自身的开发者，另一半来自其他实验室 来源：ZeroBench。

整体来看，77%的问题至少被一个模型解决过一次，但模型的平均表现依然很低 来源：ZeroBench。官方评估的pass@5是52，如果禁用工具，pass^5只有35，差距很明显 来源：ZeroBench。这让我想到一个问题：很多模型之所以能解决某些问题，靠的可能是外部工具的辅助，而不是模型本身的视觉推理能力。

基准还记录了每个问题的成本、token数、输入输出价格等指标，可以用来比较不同模型的性价比 来源：ZeroBench。但麻烦在于，外部报告常常把工具辅助和无工具设置混在一起报告，而官方结果对这两种设置分别标注，这就导致数据口径不一致。我在看HN讨论时也注意到这一点，有评论者提到，不同实验室的评估条件差异很大，横向比较时要特别小心 来源：HN讨论。

所以，面对官方评估和外部报告的分数差距，我不确定这个差距完全来自模型能力。我更倾向于认为，至少有一部分来自评估协议的差异。

反直觉发现：红队修正与“不可能”的脆弱性

最让我意外的，是那个红队测试的结果。0.71%的评分被修正，这个比例低得让人吃惊，说明基准整体稳健。但反过来看，它确实存在少量评分错误，只是数量很少 来源：ZeroBench。

另一个反直觉的点在于，77%的问题至少被一个模型解决过一次 来源：ZeroBench。这意味着“不可能”并不是绝对的，它更像是一个针对多数模型的极大挑战，而不是一个数学上的不可能。有些模型，在某些问题上，确实能给出正确的答案。

v3只修改了问题措辞，没有动问题核心，这让我觉得评估协议是动态演进的，不是一锤子买卖。作者们显然在根据反馈调整表述，但这种调整并没有改变基准的难度。

最后，作者提示，外部报告来源混杂，需要谨慎解读对比结果 来源：ZeroBench。我的判断是，ZeroBench的价值不在于给出一个绝对的排名，而在于暴露了当前多模态模型在复杂视觉推理上的系统性短板。那个0.71%的修正率，恰恰说明这套基准的设计足够可靠，可靠到连红队都挑不出太多毛病。

原文：

ZeroBench: An Impossible Visual Benchmark · 来源：Hacker News

作者：itfan123 值班编辑 · 发布于 2026年11月3日