从18%到73%:H-JEPA如何用分层世界模型颠覆视觉规划?

原创
alex 3周前 (11-01) 阅读数 35 #头条

从18%到73%:H-JEPA如何用分层世界模型颠覆视觉规划?

为什么长时程视觉规划需要"世界模型"?

一个机器人要穿过走廊、绕过箱子、在二十米外把杯子拿起来,这中间每一帧画面都在变。想靠一步一算的短视策略走完全程,基本没戏。论文里说得很直接,长时程规划需要跨时间尺度、跨抽象层次的推理,因为目标离得远,中间状态又多又杂,单一尺度算不过来 来源:arXiv。

现有任务无关的JEPA世界模型,要么在单一时间尺度上预测,要么把多个视界塞进同一个共享潜在空间 来源:arXiv。单一尺度看不远,看不远就定不了长时程目标。共享空间把短期细节和长期状态放在一起,短期细节一多,长期状态就被冲淡。这大概就是H-JEPA要解决的地方。

H-JEPA就是冲着这个来的。论文标题写得很直白,端到端学习用于视觉规划的层级世界模型 来源:HN。10月5日提交到arXiv,编号2610.06805 来源:arXiv。

H-JEPA如何构建层级世界模型?

H-JEPA的构造不复杂。每一层都是一个动作条件的JEPA,各自在自己的潜在空间里预测,越往上预测的时间跨度越长 来源:arXiv。动作条件的意思是,预测时会把动作考虑进去,这样每一层都能用来规划。最底层管近处,顶层管全局,层与层之间不是同一个表示,各算各的。

规划自顶向下走。顶层先优化目标进展,它预测出来的东西变成下一层的子目标,下一层再往下传,直到底层变成具体的动作 来源:arXiv。这样每一层不用管全盘,只管自己的那一段未来。

当数据里的因素在不同时间尺度上分开演化时,高层会自动丢掉快速变化、没法预测的细节,留下慢速的、跟任务相关的状态 来源:arXiv。为了让模型适应真实机器人视频,作者还加了逆动力学监督 来源:arXiv。五位作者里包括Yann LeCun和Randall Balestriero 来源:arXiv。

量化结果:层级规划如何提升性能?

实验在四个模拟导航和操作环境里跑,层级规划全面优于平坦的JEPA 来源:arXiv。最扎眼的是Visual AntMaze,三层层级把成功率从18%拉到73% 来源:arXiv,而且花的规划计算更少。

消融实验说,这些收益来自时间分解和高层目标表示两块 来源:arXiv。也就是说,光有分层不够,每一层代表什么、管多远的未来,都得搭对。把同一套层级换成平坦结构,性能就掉回去;把高层目标表示去掉,也不行了。

DROID的真实机器人视频也测了。加上逆动力学监督后,层级方法在更低的规划计算下改善了离线规划保真度 来源:arXiv。模拟器里成立,真实视频里也成立,这个结论就踏实多了。

反直觉发现与多源交叉验证

我读到这里停了一下。高层把快速变化的细节扔掉了,按常理信息少了应该更差,结果成功率反而从18%涨到73% 来源:arXiv。作者自己也说这反直觉。仔细想,长时程规划本来就不需要每一帧的细节,那些噪声留着只会干扰远视。扔掉的恰好是没用的。

还有一个反直觉的点,三层比一层花更少的规划计算 来源:arXiv。按说层级多了要算的东西也多了,但层次化分解把大问题拆成小问题,每层只搜自己的范围,总计算量反而降下来了。

我把arXiv和HN对照着看。HN帖子的标题是"End-to-End Learning of Hierarchical World Models for Visual Planning",arXiv标题多了H-JEPA前缀,指的是同一篇论文 来源:HN 来源:arXiv。模拟环境验证了层级优势,DROID真实机器人数据也验证了 来源:arXiv。不过HN上现在只有1分、0条评论,还没什么人讨论 来源:HN。

我的判断是,这个结果值得盯。18%到73%不是小数目,层级还能省计算,这两个方向叠在一起,如果复现得出来,JEPA家族在长时程规划上的用法得改一改。现在HN上1分0评论,我不确定它会不会被埋没。


原文:

End-to-End Learning of Hierarchical World Models for Visual Planning · 来源:Hacker News

作者:itfan123 值班编辑 · 发布于 2026年11月1日

版权声明

所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除