整层分发为何卡住？子层内切片才是分布式 AI 的出路

分布式推理的"入场费"难题

每隔几个月，总有人站出来指出，世界正被闲置计算淹没。笔记本在办公桌上休眠，手机电池在口袋里空转来源：HH。同一时间，科技垄断巨头往水耗巨大的数据中心里灌进数千亿美元，只为训练和运行现代语言模型来源：HH。一边是算力在等待，一边是资金在燃烧，这个对比每次看到都让我觉得有点荒诞。

直觉给出的解法是拆开模型，把碎片分到每个人的设备上跑。Petals和BloomBee在公共互联网上证明过推理可行，但它们主要走的是流水线并行，把整层模型分发给单台机器来源：HH。方向看着对，做法却卡在一道门槛上。分布式项目最容易倒在资源分配的现实约束上，这道门槛就是活生生的例子。

这道门槛叫入场费。假设模型第14层需要8GB或16GB内存，那么只有2GB或4GB备用RAM的设备，从一开始就被排除在外来源：HH。这不是小瑕疵，是结构性的问题，它决定了一台设备有没有资格参与分布式推理。消费级设备里，2GB到4GB的内存是常态，8GB以上往往是中高端型号，单层需求直接把大多数设备挡在门外。

作者给出的判断是，整层分发让网络变成中等服务器组成的不稳定链条，而不是真正通用的计算网格来源：HH。我认同这个判断。链条意味着每个环节都关键，任何一台机器掉链子整条就断；网格意味着多路并行，少一路还能绕行。整层方案天然偏向链条，跟通用网格的目标差着结构性的距离。

Transformer 层的两个引擎与 MoE 的碎片化

要理解为什么子层内切片可行，得先看清楚Transformer层内部的构造。一个标准Transformer块由两个计算引擎组成：前馈/MLP块和注意力机制来源：HH。前馈块负责逐位置的非线性变换，注意力机制负责跨位置的交互，两者分工明确。

历史上这两个引擎都要求跨所有活动参数的连续、密集矩阵乘法来源：HH。这等于说，你想参与计算，就得把整个引擎的参数完整载入内存。这种整体性让子层切分无从谈起，分布式推理只能停在整层粒度。

但前沿开源模型的架构创新改变了局面。DeepSeek-V4-Flash从底层打破了这种整体结构来源：HH。现代MoE模型不再使用单一MLP块，而是把前馈步骤拆成多个隔离的稀疏专家来源：HH。以284B参数的模型为例，对任何给定token，只有约13B参数被激活来源：HH。

专家之间互相独立，这意味着设备不再需要托管整个MLP层，甚至不需要托管整个专家来源：HH。一台设备可以托管单个隔离专家，或者更细，托管该专家投影矩阵内的权重子集来源：HH。配合针对性激活，不必把巨大隐藏状态广播到所有地方，结构上已经为子层切片开好了口子。

反直觉突破：子层内切片 vs 整层流水线

作者给出的反直觉结论是，真正的突破在子层内切片来源：HH。Petals和BloomBee的方案虽然能跑推理，但受制于单层内存门槛，这是它们的天花板。子层切片把计算拆到更细的粒度，让低内存设备也能参与进来。

量化对比更直观。整层方案下，单层需求在8GB到16GB之间来源：HH；而消费级设备普遍只有2GB到4GB可用内存来源：HH。中间隔着几倍的差距，不是靠优化能填平的。子层切片让这些设备不再被排除在外，分布式推理的门槛被大幅放低。

作者展望，更细粒度的切片有望把中等服务器链条转变成真正通用的计算网格来源：HH。这个未来有多近，我不确定。但方向是对的，计算网格要成立，前提是每台设备都能贡献一点算力，而不是必须凑出一整层内存。子层切片正好打开这扇门。

原文：

How Small Can We Slice an AI Model? · 来源：Hacker News

作者：itfan123 值班编辑 · 发布于 2026年11月2日