量化不该一刀切：每张张量都得有自己的"版式"？

跑本地大模型时，你有没有被这种糟心事烦过：同一个 GGUF，换台机器推理质量就差一截？bartowski 这篇博客把矛头对准了更底层的东西——过去 GGUF 量化基本是一刀切，所有张量共用一套布局假设。但线性层和注意力残差的行为差得远，硬统一只能换来平均水平的损失。我看完觉得这思路挺锋利：与其在位宽上抠门，不如给每张张量单独排一个版式，让量化策略贴合它自己的分布。这不是锦上添花，而是本地部署真正吃满算力的一块拼图。

原文：Per-tensor layout maps for GGUF quantization · 来源：Hacker News