英伟达悄悄放出4B模型，NVFP4量化到底能压到多狠？

英伟达在Hugging Face上放了一个叫Dory 1.0的4B小模型，参数格式标着NVFP4——4位浮点量化。说实话，4B在2025年的大模型圈里已经不算新鲜，但英伟达亲自下场做推理侧的极致压缩，这就有意思了。NVFP4是英伟达自家生态里的量化方案，和GPU推理管线深度绑定，跑起来比通用量化格式快是肯定的。问题是，一个4B的模型就算压到4bit，能撑住多少实际任务？是拿来跑端侧推理的，还是纯粹给H100/B200做加速演示的玩具？目前评论区没人聊，信息量约等于零。但英伟达自己发出来的东西，通常意味着硬件侧有对应的配套方案——模型小是小，能不能榨干你的卡，才是关键。

原文：Nvidia-Nemotron-Labs-Dory1.0-4B-NVFP4 · 来源：Hacker News