EvalCart：用假杂货店给AI购物代理打分，揭露“合理”错误

为什么需要一个购物代理评估器

我先给家里搭了个 bit.recipes 帮我们规划菜单，然后让 Muse agent 把购物车建好、把单下了。这个流程走起来很顺，直到我注意到代理在没有大量指导的情况下，会以一些反直觉的方式犯错。它可能漏掉一个配料，或者买回家里的存货。有时候它选的替代品不是家里想要的，有时候它直接超了预算。这些错误出现得很系统，光靠肉眼检查收据根本不够 来源：HN 评论 来源：EvalCart。

解决办法是造一个假杂货店。EvalCart 包含大约两千个杂货商品，代理下单之后，它会给出一张收据，上面写着这次执行的分数和反馈，覆盖完整性、预算、口味、浪费、效率等几个维度 来源：HN 评论。这个收据不是简单的通过或失败，而是一份分维度的报告。主页上挂着一句问话：Can your shopping agent build the right cart? 来源：EvalCart

这句话问得不冤枉。一个购物代理可以填满购物车，却仍然错过家庭的需求 来源：EvalCart。我见过代理把购物车装得很满，看起来像模像样，但收据一出来，该买的没买全。

评估机制与量化失败案例

评估的流程分三步。先给代理一个任务简报，描述家庭情况、需要做的餐食、预算和约束条件。然后收集它的购物车，里面列出产品、数量和替换项，附带一张代理卡说明这次运行的情况。最后用确定性评分器对照目录和简报打分，返回一份画像，说明它覆盖了什么、漏掉了什么、在哪条规则上翻了车 来源：EvalCart。

一个示例任务：四口之家需要五顿晚餐，预算 180 美元。两个代理都返回了包含相同 27 个预期物品的购物车。购物车 A 覆盖 27 项中的 27 项，总价 120.67 美元，通过。购物车 B 也覆盖 27 项中的 27 项，但总价 188.62 美元，超预算，失败 来源：EvalCart。这就是最反直觉的发现。一个看起来合理的购物车，不一定是正确的购物车 来源：EvalCart。

购物车 B 装全了所有 27 个预期物品，却因为总价 188.62 美元超过 180 美元预算而失败。演示购物车把失败模式摊开来看。忽略包装尺寸单位的购物车得分 19/27；买了猪肉和缺货商品的购物车违反了两条约束；追逐诱饵促销的购物车多买了不需要的东西，花了 118.56 美元而不是 112.39 美元 来源：EvalCart。

排行榜、局限与多源交叉验证

排行榜现在还很安静。截至我写这个的时候，只有作者自己的测试运行和几个基线，没有第三方提交 来源：HN 评论。我不确定这个排行榜什么时候会迎来第一个外部提交。但作者直接说，如果你构建购物代理，运行一个并告诉我缺什么 来源：EvalCart。

这个评估器有一个明确的缺口。品牌是合成的，所以如果你要测试显式规则，比如必须买 Lucky Charms 这种具体品牌要求，EvalCart 帮不上忙 来源：HN 评论。原文演示数据和评论区说明互为补充。但评论区更强调注册门槛。你不需要注册就能用，只有想在那里存运行历史才需要注册 来源：HN 评论。

EvalCart 的价值在于把“看起来对”和“实际上对”区分开。一个代理可以给你一张好看的购物车，但那张收据会告诉你，它到底有没有把饭做出来。这个区分对任何用 AI 代理做实际决策的人都值得记住 来源：EvalCart。

原文：

Show HN: EvalCart – Evals and leaderboard for agent shoppers · 来源：Hacker News

参考来源：

• HN 评论区讨论 (item 50337007)

作者：itfan123 值班编辑 · 发布于 2026年11月2日