从均匀平铺到自适应路由:RINs 如何让扩散生成提速 10 倍?

原创
alex 28分钟前 阅读数 1 #头条

从均匀平铺到自适应路由:RINs 如何让扩散生成提速 10 倍?

解耦算力与维度:RINs 的核心架构设计

我在读一篇扩散模型论文时注意到一个奇怪的现象。论文标题写的是 Recurrent Interface Networks,点进去一看,全文标题其实是 *Scalable Adaptive Computation for Iterative Generation*。作者是 Allan Jabri、David Fleet 和 Ting Chen,2022 年 12 月 22 日提交 v1,2023 年 6 月 14 日修订为 v2,最终被 ICML'23 接收 来源:arXiv。

论文开头有一句话让我停下来想了很久。作者说自然数据是冗余的,但主流架构把计算均匀地平铺在整个输入和输出空间上 来源:arXiv。这句话听起来平淡,实际上是在批评几乎所有生成模型的标准做法。拿 2D/3D U-Net 来说,不管像素区域里有没有信息,它都得一视同仁地算一遍。一张 1024×1024 的图,大部分区域是天空或者纯色背景,但 U-Net 不会偷懒。

RINs 的解决方案是把全局自注意力集中到一组 latent tokens 上,用 cross-attention 在 latent 和 data tokens 之间读写信息。作者管这个过程叫路由。堆叠多个 RIN blocks 后,数据可以自底向上流入 latent,也可以自顶向下流回数据,形成更深、更具表达力的路由 来源:arXiv。换句话说,计算量不再跟着像素数量走,而是跟着你愿意分配多少 latent tokens 走。

量化收益:SOTA 像素扩散模型,10 倍效率提升

我习惯先看数字再下判断。RINs 在图像和视频生成上达到当时的最先进水平,而且是像素级扩散模型,不需要级联或者引导就能直接生成 1024×1024 的高分辨率图像 来源:arXiv。这个数字值得强调,因为当时很多高分辨率生成依赖级联结构,先画低分辨率再上采样,RINs 直接绕开了这条老路。

效率对比更直接。论文里说 RINs 比 2D 和 3D U-Nets 高效最多 10 倍 来源:arXiv。这个倍数不是来自某种取巧的数值优化,而是架构本身的特性。作者还强调 RINs 是域无关的,同一套架构既处理图像也处理视频,不需要针对不同数据模态重调结构 来源:arXiv。

论文提供了代码,标注为 "Code at this https URL" 来源:arXiv。我试着找过这个仓库,后来发现链接在论文页面里是超链接形式,点进去能直接访问。这让我对复现结果的信心多了几分。

反直觉发现:递归条件化让路由难题成为优势

作者自己承认路由机制引入了挑战,原文用的是 "introduces challenges" 来源:arXiv。这句话让我有点意外,因为通常论文会淡化缺点。他们随后给出了一个重要观察:在递归计算场景里,比如扩散模型的迭代生成,任务和路由问题会随时间步逐步变化,困难被减轻了 来源:arXiv。

关键设计是 latent self-conditioning。在逆扩散过程的每次前向传播中,用前一步的 latent tokens 条件化当前 latent tokens 来源:arXiv。这个做法很反直觉。通常引入路由会让训练不稳定,因为路由决策本身难以端到端优化。但递归设置改变了这一点,每个时间步的路由问题变得跟上一个时间步足够相似,网络只需要学会小幅调整,不用从零开始做决策。

所以 RINs 的贡献不在消除路由难题,而是通过条件化让每个时间步的路由问题可学习 来源:arXiv。这跟我的直觉相反。我以为加路由等于加麻烦,结果作者证明了加路由在递归条件下能变成架构优势。

多源交叉验证:学术认可与社区冷遇

我在 Hacker News 上查这篇论文的讨论帖,发现一个尴尬的事实。链接获得 1 分、0 条评论,几乎没人讨论 来源:HN。同一篇论文被 ICML'23 接收,还宣称在图像和视频生成上达到最先进水平 来源:arXiv。

这种反差值得琢磨。HN 摘要字段的标题是 "Recurrent Interface Networks",而论文实际标题是 "Scalable Adaptive Computation for Iterative Generation" 来源:HN。标题差异可能是社区关注度低的原因之一。HN 用户看到 "Recurrent Interface Networks" 这种名字,第一反应大概是又一篇架构论文,点进去的动力不足。

但我不认为这只是标题的问题。技术社区和学术圈的关注点本来就不同。学术会议看重理论贡献和可复现性,HN 用户更在意能不能直接用到自己的项目里。RINs 的论文提供了代码,可复现性没问题,但它没有引发社区热捧,我觉得这说明了扩散模型领域更新迭代太快,一年前的 SOTA 在 HN 上已经不够刺激了。

我不确定 RINs 后来有没有被大规模采用。论文本身在 ICML'23 被接收,但这不等于社区会用。我只知道,从架构设计到量化收益,再到递归条件化的反直觉发现,这篇论文在学术上站住了脚。HN 的冷遇没有否定它的价值,只是提醒我,一篇好论文和一篇有热度的论文,中间隔着的可能只是一个标题。


原文:

Recurrent Interface Networks · 来源:Hacker News

作者:itfan123 值班编辑 · 发布于 2026年11月19日

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除