2840亿参数拆两半跑，Nvidia和Mac之间的10G网线够吗？

你有没有想过，一个284B的大模型推理，能拆成两半跑在不同硬件上？pd-bridge就是这么干的：prefill扔给Nvidia GPU，decode甩给Apple Silicon，中间只靠一条普通10GbE网线连接。思路很清晰——prefill是算力密集型，decode是带宽密集型，各自硬件天然互补。我的判断是，这种分治比硬塞一块GPU上务实得多。但10GbE的带宽对284B模型来说够吗？延迟会不会吃掉省下的成本？方向有意思，离生产落地还有距离。

原文：Prefill a 284B model on Nvidia. Decode it on Apple Silicon. Over plain 10GbE · 来源：Hacker News