MoE模型最大的敌人不是参数量，是搬数据

你有没有想过，MoE模型推理慢，到底慢在哪？过去大家盯着参数膨胀，但arXiv上这篇《Stepped MoE》直接把矛头对准了另一个更隐蔽的瓶颈——显存搬运。混合专家模型每次前向都要动态路由到不同专家子网，GPU和显存之间反复加载卸载，带宽根本喂不饱计算单元。这篇工作提出把专家分组按"阶梯"顺序调度，让同一时刻被激活的专家尽量落在相邻显存区域，从而大幅削减无效的数据搬运。我的判断很明确：随着MoE架构成为大模型主流路线，优化显存访问模式的重要性正在超过单纯的算力扩展。谁先把这条"数据搬运税"压下来，谁就能在同等硬件上跑出更大的有效模型。

原文：Stepped MoE: reducing memory movement in large mixture-of-experts models · 来源：Hacker News