LLM还能怎么提速?UNO用离散扩散把自回归逼进了墙角
原创
自回归生成一个字一个字蹦,LLM推理慢成了老生常谈。UNO团队另辟蹊径,用离散扩散模型替代自回归解码——一次生成多个token,理论上能大幅压缩推理步数。关键问题是:提速之后质量还站得住吗?他们给出的答案是"无损",代码已经开源。我倾向于相信这条路走得通:扩散模型在连续域早已验证了能力,离散化只是自然延伸。但HN上只有1个点、0条评论,说明社区还没认真看。一个开源项目,值得等它跑出真实benchmark再说。
原文:Unlocking Lossless Speedups in LLMs via Discrete Diffusion · 来源:Hacker News
版权声明
所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除
itfan123





