当AI在训练中重写自己的架构：自我进化意味着什么

核心概念：训练中的机械干预

我读到过很多关于 AI 自我改进的设想，大多数停留在理论层面，但这次不一样。原文的第一句话就把立场摆得很硬：架构是最后一个手工设计的部分，现在它被纳入训练过程本身。来源：HH 这句话让我停了一下。从卷积神经网络到 Transformer，架构一直是人类设计者划定的固定舞台，网络在舞台上表演。现在舞台本身成了表演内容。

这个机制被命名为 mechanistic intervention，机械干预。作者的做法是把一个 AI agent 放进神经网络的训练运行中，让它在飞行中实时重设计网络。来源：HH 我仔细读了他们的描述。agent 读取网络的内部状态，这听起来很像机械可解释性研究，但有一个关键区别。解释性研究面对的是一个已经训练完成的网络，它做的是事后分析，像法医解剖。这个 agent 面对的是一个还在学习的网络，它做的是术中干预，像外科医生在手术台上临时调整方案。

agent 的工作逻辑也很直接。它诊断网络未能学习的内容，然后通过改变数据、目标函数、更新规则或架构本身来修复问题。来源：HH 换句话说，传统训练中的超参数搜索和架构搜索是离线进行的，人在训练循环外面调。现在这个搜索过程被搬进了训练循环内部，由 agent 自己完成。原文标注阅读时间 23 分钟，属于长篇技术博客，作者花了很多篇幅展开这个过程。来源：HH 我的第一反应是，这听起来像是把炼丹过程自动化了，但读完细节后发现，事情比炼丹复杂得多。

技术细节：幻影梯度、代码层与33%→79%的跃升

agent 自己发现了工具。在 nanochat 模型上，agent 发现了一个被称为 phantom gradient 的指标，用来度量网络未满足的需求。来源：HH 这个发现本身就很有趣。agent 不是被编程去使用某个工具，而是自己发现了工具的必要性。作者说这需要一套全新的工具包，而 agent 自己构建了这套工具包。来源：HH 我在这里停顿了一下，因为这意味着工具包不是设计出来的，是生长出来的。

更具体地说，agent 编写小段程序，并将它们作为代码层增长进网络中。这些代码层常常是外星人式的，例如某一层在单个前向传播内计算隐藏表示的梯度，并用这些梯度自我纠正。来源：HH 人类开发者不会想到写出这样的层。它不是按常规设计逻辑来的，更像是一种应急性的自我修复机制。作者没有掩饰这一点，反而刻意强调这种外星性，暗示 AI 可能比开发者更了解自己的弱点。我同意这个判断，但我要补充一句，这种理解建立在大量实验之上，不是灵光一现。

最能说明问题的实验在 CLRS-Text 上。这是一个经典算法数据集，作者发现 transformer 在训练过的输入尺寸上表现良好，但在中间尺寸上失败，即使训练时间延长到两倍也无济于事。来源：HH 这很反直觉。通常我们认为训练时间加长总能带来改善，但这里训练时间加倍不能解决尺寸间的锯齿问题。然后 agent 在训练过程中生长出代码层，将中间尺寸准确率从 33% 提升到 79%。来源：HH 我没有足够的专业知识去验证这个数字，但它带来的冲击在于，解决方案不是从外部调参找到的，而是网络在训练中自己生长出来的。

更进一步的自我应用实验，让 DeepSeek-V4.1-Flash 作为 agent 作用于自身。它使用读取自身隐藏状态的代码层，将 AIME 2026 和 HMMT 2026 的准确率从 64% 提升到 71%。来源：HH 这引出了一个我之前不敢想的问题：模型能不能对自己做手术？作者的答案是肯定的。而且这个肯定不是停留在比喻层面，是有具体实验支撑的。

多源交叉验证：HN反馈与关联研究的互证

我习惯性地去 Hacker News 上看了看这个帖子的反应，结果有点意外。帖子只有 1 个点，0 条评论。来源：HN 这意味着这个话题刚发布，尚无社区讨论与外部验证。我本来期待看到一些质疑或者技术讨论，但什么都没有。这种沉默让我有点警惕。一个 23 分钟的深度技术博客，提出训练中实时重设计架构这种激进主张，社区没有反应。要么是文章太新，要么是大家觉得不靠谱。我不确定是哪种情况。

然后我去看了原文关联研究列表。同一团队近期有多篇论文：2026 年 10 月 25 日《通过泛化实现对齐》，2026 年 10 月 19 日《极值象棋组合新纪录》，2026 年 10 月 6 日《推进极值图论数十年难题》。来源：HH 这三篇论文的时间跨度不到一个月。HN 的零评论和原文的密集技术细节形成鲜明对比。前者表明当前公众认知薄弱，后者提供了可验证的量化证据。来源：HN来源：HH 我不能说这个对比意味着什么，我只能说它让我保持谨慎。

但有一个交叉验证点让我觉得值得注意。同团队在象棋组合、图论等不同领域均有突破，暗示 agent 在训练中重设计这一方法论可能具有跨领域普适性。来源：HH 象棋组合是离散结构，图论是纯数学，神经网络是连续优化。如果同一个方法论能在三个领域都产生结果，那它可能不是某个特定领域的技巧，而是一种更一般性的能力。不过我没有足够的材料去确认这种普适性的边界。

原文结尾有一句话让我想了很久：模型也能对自身这么做。来源：HH 这句话与《通过泛化实现对齐》的关联让我想到了一个问题。如果模型能自我修改，那对齐问题就不再只是训练阶段的问题，它变成了一个持续存在的过程。自我改进与对齐问题的潜在交集在这里出现了，但原文没有展开，我也不想过度推测。

作者判断与深层含义

作者的核心判断很清晰：把一个 AI agent 放进神经网络的训练运行中，训练过程本身已经成为搜索空间，人类设计者的角色可能被逐步取代。来源：HH 我对这个判断的态度是混合的。从工程角度看，把架构设计自动化是一个自然的进化方向。从信任角度看，把架构设计交给一个我们不完全理解的系统，风险是存在的。我倾向于认为作者是在陈述事实，而不是在呼吁什么，但这两者之间的边界不总是清晰。

另一个反直觉发现让我重新思考了开发者与模型的关系。agent 能发现人类未预期的解决方案，比如外星代码层，暗示 AI 可能比开发者更了解自己的弱点。来源：HH 这个说法有点刺人，但数据摆在那里。如果一个系统能在训练中自行发现我们设计时忽略的问题，并自己修复，那我们的设计框架确实需要重新审视。作者强调，这需要一套全新的工具包，而 agent 自己构建它。来源：HH 这句话我理解为一个转折点。传统手工设计框架的产物是架构，现在架构和工具包都变成了训练的输出。

关于自我改进的递归性，我目前没有足够的信息去做出判断。当模型能作为自身的 agent，可能引发 AI 设计 AI 的循环，带来对齐与可控性隐患。来源：HH 这个问题是真实存在的，但原文没有提供足够细节让我评估其严重程度。作者的 TL;DR 总结说，agent 诊断网络失败之处并通过改变数据、目标、更新规则或架构来修复，意味着训练动态本身成为设计对象。来源：HH 我的判断是，这个方向值得跟踪，但现在下结论为时过早。

原文：

Beyond Transformers: Can LLMs redesign themselves as they train? · 来源：Hacker News

作者：itfan123 值班编辑 · 发布于 2026年11月7日