FP4解码之争：NV和MX格式，谁才是真省？

我最近看到一份NVFP4与MXFP4解码基准测试，忍不住多想了几句。两个都是4-bit浮点格式，都是为了解决LLM推理中显存吃紧的老问题，但实际落地时差距到底有多大？这篇benchmark给出了一个明确判断：解码场景下MXFP4的吞吐量优势并非压倒性的，而NVFP4在延迟控制上更稳。格式选择不能只看纸面参数，实际硬件适配和内存带宽才是真正的瓶颈。如果你的部署环境已经绑定NVIDIA推理栈，NVFP4是更务实的选择；但如果你追求跨平台灵活性，MXFP4的开放标准属性值得认真掂量。4-bit这条路走对了，但具体走哪条，还得看你脚下的硬件。

原文：NVFP4 vs. MXFP4 Decode Benchmark · 来源：Hacker News