AgentProbe：故意搞砸系统，但测试本身也靠AI

核心理念：先真跑再故意破坏，12 个场景的故障注入

我最近看到一个叫 AgentProbe 的工具，出自 Sampact LLC。它的口号很直白："See what your agent does when things go wrong"，定位也很清楚，"for people building AI agents" 来源：Sampact。这个工具的工作流在官网上有完整描述："runs your agent for real, then breaks something on purpose and watches what it does next"，先用你的 Agent 正常跑一遍，再故意让某个环节失败，然后盯着看 Agent 下一步会做什么 来源：Sampact。

测试一共覆盖 12 个场景，页面在运行时显示 "Scenario 4 of 12"，前端通过轮询刷新状态，页面上还贴心地写了 "This page checks again every few seconds, no need to refresh it yourself" 来源：Sampact。更让我意外的是它宣称 "no code required"，用户不需要写测试代码，直接用自然语言描述业务规则就能生成测试报告。官方案例里给的是一条退款规则："Refunds are allowed within 30 days of purchase if the item is unopened"，30 天内未拆封可退款 来源：Sampact。你输入这句话，它就开始生成故障场景。

这种"先真跑再搞砸"的思路确实比写脚本测用例高明一些。脚本只能验证你事先想到的边界情况，但 AgentProbe 的思路是让系统真的去崩一次，看 Agent 在真实故障面前会不会胡来。官网还写了句话："The alternative is finding out from a customer"，不测的后果就是从客户那里发现问题 来源：Sampact。产品列了三个好处：不用手写测试用例、上线前就能发现故障、不需要专门的 QA 团队 来源：Sampact。这个方向至少是对的。

技术接口与集成成本：HTTP 协议、Anthropic Key 与成本归属

接入方式很朴素。AgentProbe 向你的 HTTP 端点 POST 请求，payload 格式为 {"task","history"}，端点示例是 https://your-agent.example.com/decide 来源：Sampact。你的 Agent 每一步要么返回 {"tool_name","tool_args"} 表示调用工具，要么返回 {"final_answer"} 给出最终答复 来源：Sampact。这个协议不算复杂，但前提是你的 Agent 已经用 HTTP API 暴露了决策接口。如果你的 Agent 是嵌在应用里调外部 API 的形式，你可能需要先把它抽象成这样一个端点。整个过程是同步的：AgentProbe POST 一次，等你的 Agent 返回，再 POST 下一次 来源：Sampact。

成本部分值得细看。用户需要提供自己的 Anthropic API key（格式 sk-ant-...），官网说明 "Used only for this run and never stored anywhere"，获取地址是 console.anthropic.com 来源：Sampact。但紧接着有一句关键的话："The adaptive Injector's real API cost is billed to this key, not to AgentProbe" 来源：Sampact。故障注入模块的实际 API 调用费用全部由用户的 key 承担。换句话说，AgentProbe 自己不收运行费，但它内部用的 Anthropic 模型调用的开销全部转嫁给了用户。这个成本归属方式在产品页面展示得还算透明。

工具 schema 是个可选项。官网原文写的是 "No tool schemas required, though giving us your real ones significantly improves how accurate the test is" 来源：Sampact。不提供也能跑，但准确度会明显下降。这里有个取舍：快速上手和测试精度之间的权衡。我不确定不传 schema 时它的准确率能到多少，官网没有给具体数字。

产品自曝的局限 vs HN 社区的冷遇

真正让我停下来的是官网上的警告框。产品自己写了一段话："The test we generate from your description is AI-written, not reviewed by a person"，测试用例由 AI 生成，未经人工审核 来源：Sampact。它甚至举了一个例子："A rule that's subtly wrong (e.g. treating something already-granted as grantable again) won't error; it'll just m..."，细微错误不会报错，只会静悄悄地让测试通过但没证明任何关于你 Agent 的真实信息 来源：Sampact。产品要求用户 "Read before trusting the results"，建议 "skim" 每条报告附带的生成逻辑链接 来源：Sampact，但连产品自己都在暗示用户大概不会逐一审阅。

我去看了 HN 上对应的那条帖子，数据让人意外：1 个 Points，0 条评论 来源：HN。官网到处挂着 "Try now"，但社区几乎没有讨论。这可能是个产品还没被看到的阶段，也可能是大家看到了那个警告框就绕道走了。我不确定具体原因，但零评论确实和它自称的 "no code required" 热度不匹配。

这里有个结构性矛盾我没法忽略。Sampact 用 Anthropic 模型来生成故障注入场景（adaptive Injector），用它来测试用户的 Agent，形成了一个用 AI 测 AI 的回路。但 Sampact 自己承认测试未经人工审核，这意味着注入故障的质量完全取决于 LLM 对业务规则的理解力。如果被测 Agent 和注入模块共享类似的 LLM 理解偏差，那它可能不会把那些 Agent 自己也会误解的故障场景注入进去。一个 LLM 用另一种方式理解你的业务规则，再拿这个理解去考验另一个 LLM，这个测试的有效性边界在哪里，官网没有讨论。

原文：

AgentProbe – test AI agents by making the systems around them fail · 来源：Hacker News

作者：itfan123 值班编辑 · 发布于 2026年10月24日