世界模型

World Model

世界模型预测接下来会发生什么:给它眼前的观测和一个动作,它算出之后的情况。机器人用它造数据、先预演、做评测。

又称 世界基础模型、视频世界模型、WFM

机械爪悬在方块上方,身后一排半透明画框依次显示靠近、夹住、提起的预测画面

世界模型是什么

世界模型学的是「接下来会发生什么」:给它眼前的观测和一个动作,它预测动作的结果。NVIDIA Cosmos 论文把输入的这一项叫扰动,可以是机器人的动作,也可以是随机扰动或文字描述。

这个思路在 2018 年已经有了:Ha 和 Schmidhuber 让智能体完全在世界模型生成的「梦」里训练,再把策略搬回原环境。如今用在机器人上的世界模型分两路。Cosmos 这类把观测表示成视频。V-JEPA 2 预测的是表征,不预测像素。

在机器人里,世界模型主要做三件事:造数据、先预演、做评测。Cosmos 论文列出的用途里就有合成数据、规划和策略评测。

机械臂正要推方块,机械爪前方分出三条发光路径,其中一条是亮青色
先预演:在模型里试几组动作,比较结果,再到真机上执行最好的一组。

在机器人里做什么

左边一幅机械爪放杯子的画面,向右展开一排半透明画框,每幅是不同物体和桌面
造数据:DreamGen 用视频世界模型生成合成机器人视频,再反推动作来训练策略。
  • 造数据

    真机示范又贵又费人力。DreamGen 用视频世界模型生成合成机器人视频,再反推动作来训练策略。只用一种抓放任务的遥操作数据,人形机器人就做出了 22 种新行为。

  • 先预演

    在模型里试几组动作,比较结果,再到真机上执行最好的一组。V-JEPA 2-AC 用约 62 小时无标注机器人数据训练,能在新环境里给 Franka 机械臂规划动作。

  • 做评测

    不用每次上真机,在模型里给策略打分、排序。Gemini Robotics 团队基于 Veo 视频模型做了评测系统,用 1600 多次真机试验核对,能准确排出不同策略的好坏。

  • 查安全隐患

    在编辑过的场景里放进危险元素,让策略在模型里跑,可以提前发现潜在风险,不用动硬件。在真实环境布置这类场景,可能危及机器人、环境和人。

  • 直接在真机上学

    DayDreamer 把 Dreamer 算法用到 4 台真实机器人上,不用仿真器。四足机器人只用 1 小时就从零学会翻身、站起和行走。

关键数字

  • 2000 万小时NVIDIA Cosmos 的原始视频规模,从中提取约 1 亿个视频片段来源:arxiv.org
  • 62小时V-JEPA 2-AC 训练用的无标注机器人视频时长,来自 DROID 数据集来源:arxiv.org
  • 88 → 827小时GR00T N1 用视频生成模型扩充数据:88 小时遥操作数据生成 827 小时视频来源:arxiv.org
  • 1600+次Veo 世界模型评测系统做的真机对照试验,覆盖 8 个策略版本和 5 个任务来源:arxiv.org
  • 1小时DayDreamer 里四足机器人从零学会行走的真机时间来源:arxiv.org

常见问题

世界模型和物理仿真器有什么区别?
物理仿真器要人工搭场景、调参数,换场景的成本高,液体和软体尤其难。世界模型从视频里学,用图像编辑就能改出新场景,但细小物体的接触仍难模拟,还可能凭空冒出物体。
世界模型和 VLA 有什么区别?
VLA 输出动作,是执行者。世界模型输出对未来的预测,回答「这么做会怎样」。两者常配合:DreamGen 用世界模型造的数据训练 GR00T N1,Veo 系统用世界模型评测 VLA 策略。
世界模型就是视频生成模型吗?
说法不一。DreamGen 直接把视频生成模型叫视频世界模型。V-JEPA 2 的作者认为不必预测像素,只学场景里可预测的部分。他们自测规划一个动作要 16 秒,微调过的 Cosmos 要 4 分钟。
世界模型能替代真机测试吗?
目前不能完全替代。Veo 系统能排出策略的好坏,预测成功率和真实值强相关,但绝对值偏低,作者也说这个方向还在早期。更实际的用法是先筛掉不行的策略,把真机资源留给有希望的。
有哪些代表性的世界模型?
NVIDIA Cosmos 是面向物理 AI 的世界基础模型平台,开放了预训练模型。Meta 的 V-JEPA 2 用超过 100 万小时视频预训练。DreamGen 是用视频世界模型造机器人数据的流程。Dreamer 系列把世界模型用于强化学习。
世界模型和强化学习是什么关系?
世界模型能替策略在想象里试错。Dreamer 学一个环境模型,靠想象未来改进行为,减少在真实环境里的试错次数。这也是 DayDreamer 能在真机上直接学的原因。

来源

  1. Ha & Schmidhuber · World Models(arXiv 1803.10122)arxiv.org
  2. Hafner 等 · Mastering Diverse Domains through World Models(DreamerV3,arXiv 2301.04104)arxiv.org
  3. Wu 等 · DayDreamer: World Models for Physical Robot Learning(arXiv 2206.14176)arxiv.org
  4. NVIDIA · Cosmos World Foundation Model Platform for Physical AI(arXiv 2501.03575)arxiv.org
  5. Meta FAIR · V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning(arXiv 2506.09985,HTML 版)arxiv.org
  6. Meta FAIR · V-JEPA 2 论文 PDFarxiv.org
  7. Jang 等(NVIDIA 等)· DreamGen: Unlocking Generalization in Robot Learning through Video World Models(arXiv 2505.12705)arxiv.org
  8. Google DeepMind Gemini Robotics Team · Evaluating Gemini Robotics Policies in a Veo World Simulator(arXiv 2512.10675)arxiv.org
  9. NVIDIA · GR00T N1: An Open Foundation Model for Generalist Humanoid Robots(arXiv 2503.14734)arxiv.org

核验于 2026-11-06