GPT-6 Astra 测试技术效果：能力饱和，验证方法失效？

测试AI编码代理时，我们总有个默认期待：让它用上正确的测试方法，结果应该更好。今年8月1日那轮评测给出的证据，跟这个期待拧着来。

两个关键变化，从漫画式模仿到有效应用

那天让GPT-5.6 Sol去实现Zstd RFC时，我要求它分别用TDD、QuickCheck、Lean 4等不同技术做测试。模型的表现像是一幅漫画。每种技术都做了，但都浮在表面。QuickCheck生成一堆随机用例，TDD的测试写得像应付差事。反而是没指定任何测试方法的Default条件，产出了一大堆没什么价值的单元测试，但这却成了表现最好的条件之一 来源：danluu.com。

几个月后重跑同一套评测，GPT-6 Astra交出了完全不同的结果。作者的原话是"asking agents to test in specific ways mostly made them worse" 来源：danluu.com，这个判断在5.6 Sol上成立。但6 Astra的能力提升之大，已经让这套评测失去了分辨力。在Zstd实现评测上，几乎所有条件在medium effort下几乎每次都能达到100%正确率 来源：danluu.com。

一个具体的例子是fuzzing。5.6 Sol被要求做fuzzing时，会生成大量随机输入，大多命中相同的代码路径，什么有趣的内容都测不到。6 Astra被要求fuzzing时，能结构化地执行代码路径并发现非平凡bug 来源：danluu.com。但作者也说，无法判断这个改进是否提升了正确性，因为Zstd实现基准已经饱和了 来源：danluu.com。

量化数据，成本骤降、正确率飙升

数字上的变化相当醒目。实现Zstd RFC时，5.6 Sol在medium effort平均花费$3.50，full（holdout）测试正确率约63%；xhigh effort下花费$5.50，正确率约77%。同样的评测，6 Astra在medium effort只花$1，full测试正确率超过99% 来源：danluu.com。

成本从$3.50降到$1，正确率从63%跳到99%以上。这组对比本身很漂亮，但漂亮得让我有点不安。因为当几乎所有条件都以近乎100%的正确率通过时，评测就失去了区分能力。作者明确说，需要更难的评测才能区分不同测试技术的效果 来源：danluu.com。

作者之前给5.6 Sol的IMAP RFC任务，对那个模型来说太难了。6 Astra尝试后得到了结果分布，原文只提到"we get the following distribution of results" 来源：danluu.com，具体数值没有展示。这个评测还在进行中，数据需要更多确认。

反直觉发现，不指定测试方法反而最佳

这个结果最反直觉的地方很直接。Default条件取胜的方式很朴素，就是没让模型去技术化。作者明确写道："not specifying any particular test method (which we'll call Default) resulted in many worthless unit tests, which was one of the best performing conditions" 来源：danluu.com。

我们通常假设，让代理以特定方式测试，比如TDD、QuickCheck，会让结果更好。但在这轮评测里，明确指定方法大多让结果更差 来源：danluu.com。原因可能在于，当模型被要求使用某个库或某套流程时，它把精力花在了模仿这些技术的表面形式上，没顾上理解代码的深层行为。

现在6 Astra使用测试技术更有效了，但正确性没法测量，因为基准饱和 来源：danluu.com。这暗示要验证测试方法的有效性，需要一个更难的基准。否则我们看到的改进可能只是模型整体能力提升的副产品，跟测试技术本身的功劳关系不大。

单一来源的评测，缺乏多源交叉验证

需要坦白的是，本评测的所有数据都来自同一篇文章 来源：danluu.com，没有外部独立来源可以交叉验证。这是主要的局限。

对比5.6 Sol与6 Astra两个模型版本的数据，可以看作两轮评测的对照。$3.50和63%对$1和99%+，这个差距明显 来源：danluu.com。但两轮数据出自同一作者、同一评测流程，没有第三方重复过。我对这个结论的信心，取决于我是否相信作者的方法论严谨性。

IMAP RFC的评测结果，原文提到"we get the following distribution of results"后内容被截断 来源：danluu.com，说明评测仍在进行中。作者还提到，计划用更难的pandoc eval来测试 来源：danluu.com。目前的数据不足以得出最终结论。

我的判断很简单。测试方法的有效性是一个真实存在的问题，但我们现在还没有一个足够难、没有饱和的基准来回答它。在找到这样的基准之前，"不指定方法反而更好"只能算是一个观察，不能算是一个结论。

---

原文：

Test and verification technique effectiveness with GPT-6 Astra · 来源：Hacker News

作者：itfan123 值班编辑 · 发布于 2026年11月3日