贪心解码真的"确定性"？一篇论文说未必

同一个模型，同样的输入，贪心解码——结果却可能对不上。一篇新论文发现，贪心解码在跨精度推理中并不具备不变性。FP32降到FP16，哪怕每次只选概率最大的token，输出依然可能发散。我读过的工程文章几乎默认贪心解码是确定性的，拿来当"零随机性"的快捷方式用。这假设站得住吗？现在看来未必。精度一降，浮点舍入误差在logits层面被悄悄放大，最终选中的token就换了。低精度部署的LLM，即使宣称"结果与高精度一致"，输出实际上已经偏移。如果对一致性有硬要求，光靠贪心解码不够，得额外做精度对齐校验。

原文：Greedy Decoding Is Not Precision-Invariant: Cross-Precision Output Divergence · 来源：Hacker News