把模型"搞坏"，反而找出了量化的真相

你有没有想过，量化压缩到底在多大程度上悄悄扭曲了大模型的能力？一个人选择了一条反直觉的路——故意把模型压坏，再从这些崩坏样本里逆向推导量化的真实损失边界。他的项目叫quant-delta-predictor，核心思路不是"尽量让量化好看"，而是用刻意破坏来暴露退化模式。这个思路让我觉得靠谱：与其在正常区间里小修小补，不如把模型逼到极限，看看它在哪个比特率下开始说出胡话。对于做推理部署的人，这套压力测试方法比一堆精度折线图更有参考价值——你想知道的不是平均掉了0.3个点，而是"在什么条件下它会突然不可用"。

原文：I stress-tested LLM quantization by deliberately breaking models · 来源：Hacker News