当Transformer学会"绕圈"跑：也许真能省下堆层数

你有没有想过，Transformer为什么非得一层层往上堆？最近一个Recurrent Looped Transformer的方案给出了另一种答案：不堆层，让同一组参数循环跑。把Transformer的输出喂回去继续算，像RNN那样"绕圈"处理输入，理论上能在参数量和计算量之间找到更优的平衡。思路算不上新奇，但把loop嵌进Transformer主干架构这个点值得琢磨——如果效果真能接近深层Transformer，那"堆层数等于涨性能"的默认信念就该动摇。我比较看好这个方向。

原文：Recurrent Looped Transformer · 来源：Hacker News