你以为模型出了问题，其实是测试框架在说谎

你有没有遇到过这种情况：模型表现越来越差，你反复调参、换架构、加数据，结果一无所获。Herlein这篇博客讲的就是类似的故事——折腾了大半天，最后发现问题根本不在模型，而在harness，也就是那个负责评测的框架本身。评测数据搞错了，指标算歪了，模型"变笨"是个假象。这让我想到一个判断：在AI工程里，你调试的第一个嫌疑对象，往往不该是模型。模型再笨也笨不到哪儿去，但一个写错的评测脚本，能让最好的模型看起来像废物。先检查harness，再动模型，省下的不只是时间。

原文：It Was the Harness, Not the Model · 来源：Hacker News