1万亿参数烧进芯片:17B真的是天花板吗?
原创
把大模型烧进芯片,这事到底卡在哪?目前量产化最大只到17B,而MiMo-V2.6-Pro总量1万亿、激活420亿(MoE架构),想让它跑在硅片上还要又快又省能,听着像科幻。我认为核心瓶颈不是参数量本身——MoE把激活数压到420亿已是巨大突破,真正难的是那420亿权重如何在片上高效调度与存储。连17B都还没完全跑通量产,直接跳万亿级更像愿景而非工程路线。但Opus 5.5对多数人已经"够用"了,这反而暴露一个更根本的问题:我们究竟需要多大的模型,才配得上"烧进芯片"这个浪漫又危险的想法?
原文:Ask HN: What is needed to burn MiMo2.6Pro onto a chip · 来源:Hacker News
版权声明
所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除
itfan123




