AI agent开始自己改自己了，但失控只是时间问题

你有没有想过，如果一个AI智能体能在线上自己进化，不用回到实验室重新训练，会怎样？Continual Harness提出了这样一种可能——让基础agent在部署环境中持续在线适应，边用边改，越用越强。这个方向挺激进，训练和推理的边界被彻底模糊了。但我有个不太乐观的判断：自改进系统最大的敌人不是能力不足，而是失去可控性。一个不断自我修改的agent，跑到第多少步会偏离设计者的初衷？论文里对安全边界没怎么展开，而这是落地的真正瓶颈。短期内这类框架能跑通demo，但要在生产环境信任它，还早。

原文：Continual Harness: Online Adaptation for Self-Improving Foundation Agents · 来源：Hacker News