Mac 推理快得离谱？答案可能是一个内核

你有没有想过，为什么 Mac 上的推理速度可以快得离谱？ 答案可能就是一个词：大核。把整个模型压进一个内核，省掉的是层与层之间的内存往返、调度开销、甚至启动代价。省得多不多？看你模型的大小。 但我得说句不好听的：省下来的是带宽，花出去的是灵活性。一个大核跑得快，却也难改。想加一层、换个激活、调个参数——对不起，重新编译，从头调试。 生产环境里，这笔账未必划算。但如果你要的是极致延迟，大核大概是 Mac 上最激进、也最诚实的选择。

原文：Megakernels on Mac: What Fusion Saves and What It Costs · 来源：Hacker News