Show HN: Incremental Delta-Bar-Delta (Sutton's 1992 Rule) in Rust

原创

alex 1小时前阅读数 3 #头条

Show HN: Incremental Delta-Bar-Delta (Sutton's 1992 Rule) in Rust

我只看到了标题和摘要。没有原文正文，所以很多细节我无法确认，只知道这大概是一个在Rust里实现的增量版Delta-Bar-Delta算法，一个来自Sutton 1992年的规则，挂在Hacker News上，只得了1分。

Delta-Bar-Delta这个名字本身就挺让人玩味的。它是那种老派算法，在深度学习大行其道之前，有人就在琢磨怎么让学习率自己动起来。Sutton的规则里，每个参数都有独立的学习率，再根据梯度符号是否变化来调整它们。符号变了，说明可能越过了一个极小值，就把步长缩小；符号不变，说明还在同一个坡面上滑，那就大胆往前迈。逻辑不复杂，但有种朴素的聪明。

如今有人把它用Rust实现出来，而且特意强调是增量式。增量这词我猜可能是指不用重算全部历史梯度，或者在线逐样本更新。Rust在这个领域不算主流，但如果你在意性能和内存安全，这选择本身就有意思。我甚至觉得，这种老规则被翻出来写进Rust，背后可能有一种怀旧式的技术趣味，在堆叠新框架的风气里，回头看看一个1992年的规则，反而显得清醒。

我没法告诉你它的性能数字，也没见过那代码，更不知道它跟现代优化器比到底怎么样。但我知道的是，一个三十多年前的学习率调整规则，还能让人有兴趣在Rust里实现，这本身就说明了一些东西。有些思想没有过时，只是换了个容器。Rust的严格性，恰好能把这种规则里微妙的数值行为暴露得更清楚。

我看不到更多了。但这短短的信息里，已经有一个值得琢磨的侧面。老算法，新语言，增量实现。三件事凑在一起，足够让人停下来想一会儿。

原文：

Show HN: Incremental Delta-Bar-Delta (Sutton's 1992 Rule) in Rust · 来源：Hacker News

参考来源：