模型说90%把握，真有90%吗？

我最近看到一篇挺有意思的测试——有人拿真实数据去验证一个叫 Jev 的模型到底校准得准不准。 问题很简单：模型输出"置信度90%"时，实际命中90次了吗？校准听起来是个数学问题，但放到真实数据上跑，很多人怀疑结果会打脸。这篇文章就是带着这个疑问，用真实数据做了一轮检验。 说实话，我猜多数读者看完会同意这个判断：校准不是纸上谈兵的指标，它是模型能不能被信赖的前提。一个连概率都说不准的系统，你连它的"不确定"都得怀疑。而现实是，不少模型在实验室里表现漂亮，一上真实数据就露馅。这篇文章至少没有停留在理论，而是动手验证了。

原文：Is Jev calibrated? Tests on real data · 来源：Hacker News