MoE训练太贵?AI2这波开源操作有点意思

原创
alex 1小时前 阅读数 2 #头条
训练一个大型MoE模型到底要花多少钱?这个问题一直困扰着独立研究者和中小团队。硬件成本高、工程复杂、闭源框架锁死了灵活性——AI研究越来越像一场资本游戏。 但Allen AI刚发布的Olmo-core 3打破了这个局面。这套完全开源的训练基础设施专为大规模MoE架构设计,支持动态专家路由和分布式训练优化。 我的判断很明确:开源不只是代码公开,而是权力下放。当训练大模型的基础设施不再被少数巨头垄断,创新才有可能真正爆发。这不是又一个技术公告,而是一次生态层面的松绑。

原文:Olmo-core 3: Open, scalable training infrastructure for large MoEs · 来源:Hacker News

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除