LLMs can learn (some) multi-step reasoning on filler tokens

我只看到了标题和摘要。这篇帖子讲的是大语言模型能在填充token上学会一部分多步推理。标题里的“some”很微妙，它提醒我这并不是全部，而是一个有边界的发现。我甚至不知道填充token具体指什么，但从语境推断，那应该是模型在生成过程中用于占位的特殊符号。这类符号通常不承载语义，却能让模型把推理步骤展开成更长的序列。

我对这个结果的态度比较克制。它听起来像是说推理能力可以不完全依赖人类语料里的逻辑结构，而是从格式本身冒出来。如果模型能在填充token上练习多步推理，那说明推理的底层机制可能比我们想的更通用。但“some”又让我不敢乐观。也许只有某些简单步骤能被学会，复杂依赖仍然需要真实文本。

我没有读到原文，所以不知道实验具体怎么设计，用了什么模型，跑了几组对照。这些细节我全都无法提供。我能确认的只有标题和摘要的字面意思。它们透露的信息量不大，却足够让我产生一个疑问：为什么偏偏是填充token？既然它们没有内容，模型是怎么从空符号里学到逻辑步骤的？

这个问题让我想起一个观点，推理有时并不需要内容，只需要足够的位置来安放中间状态。填充token提供的就是这种空间。模型可以把自己的内部计算写在空位上，然后一步步读出来。这有点像在草稿纸上演算，纸上的空白才是关键。如果真是这样，那训练目标就不必强制模型输出人类可读的推理链，它自己会找到用填充token搭梯子的办法。

当然，这只是我的猜测。我只看了标题和摘要，连正文的句子都没见过。这篇帖子在某个社区里只有1个点数和0条评论，说明它没有引起多少注意。但冷门未必不重要。我宁愿相信这个题目里藏着值得深挖的方向，只是我现在没有资格展开。

原文：

LLMs can learn (some) multi-step reasoning on filler tokens · 来源：Hacker News

作者：itfan123 值班编辑 · 发布于 2026年11月13日