世界模型
World Model
世界模型预测接下来会发生什么:给它眼前的观测和一个动作,它算出之后的情况。机器人用它造数据、先预演、做评测。
又称 世界基础模型、视频世界模型、WFM

世界模型是什么
世界模型学的是「接下来会发生什么」:给它眼前的观测和一个动作,它预测动作的结果。NVIDIA Cosmos 论文把输入的这一项叫扰动,可以是机器人的动作,也可以是随机扰动或文字描述。
这个思路在 2018 年已经有了:Ha 和 Schmidhuber 让智能体完全在世界模型生成的「梦」里训练,再把策略搬回原环境。如今用在机器人上的世界模型分两路。Cosmos 这类把观测表示成视频。V-JEPA 2 预测的是表征,不预测像素。
在机器人里,世界模型主要做三件事:造数据、先预演、做评测。Cosmos 论文列出的用途里就有合成数据、规划和策略评测。

在机器人里做什么

造数据
真机示范又贵又费人力。DreamGen 用视频世界模型生成合成机器人视频,再反推动作来训练策略。只用一种抓放任务的遥操作数据,人形机器人就做出了 22 种新行为。
先预演
在模型里试几组动作,比较结果,再到真机上执行最好的一组。V-JEPA 2-AC 用约 62 小时无标注机器人数据训练,能在新环境里给 Franka 机械臂规划动作。
做评测
不用每次上真机,在模型里给策略打分、排序。Gemini Robotics 团队基于 Veo 视频模型做了评测系统,用 1600 多次真机试验核对,能准确排出不同策略的好坏。
查安全隐患
在编辑过的场景里放进危险元素,让策略在模型里跑,可以提前发现潜在风险,不用动硬件。在真实环境布置这类场景,可能危及机器人、环境和人。
直接在真机上学
DayDreamer 把 Dreamer 算法用到 4 台真实机器人上,不用仿真器。四足机器人只用 1 小时就从零学会翻身、站起和行走。
关键数字
- 2000 万小时NVIDIA Cosmos 的原始视频规模,从中提取约 1 亿个视频片段来源:arxiv.org
- 62小时V-JEPA 2-AC 训练用的无标注机器人视频时长,来自 DROID 数据集来源:arxiv.org
- 88 → 827小时GR00T N1 用视频生成模型扩充数据:88 小时遥操作数据生成 827 小时视频来源:arxiv.org
- 1600+次Veo 世界模型评测系统做的真机对照试验,覆盖 8 个策略版本和 5 个任务来源:arxiv.org
- 1小时DayDreamer 里四足机器人从零学会行走的真机时间来源:arxiv.org
常见问题
- 世界模型和物理仿真器有什么区别?
- 物理仿真器要人工搭场景、调参数,换场景的成本高,液体和软体尤其难。世界模型从视频里学,用图像编辑就能改出新场景,但细小物体的接触仍难模拟,还可能凭空冒出物体。
- 世界模型和 VLA 有什么区别?
- VLA 输出动作,是执行者。世界模型输出对未来的预测,回答「这么做会怎样」。两者常配合:DreamGen 用世界模型造的数据训练 GR00T N1,Veo 系统用世界模型评测 VLA 策略。
- 世界模型就是视频生成模型吗?
- 说法不一。DreamGen 直接把视频生成模型叫视频世界模型。V-JEPA 2 的作者认为不必预测像素,只学场景里可预测的部分。他们自测规划一个动作要 16 秒,微调过的 Cosmos 要 4 分钟。
- 世界模型能替代真机测试吗?
- 目前不能完全替代。Veo 系统能排出策略的好坏,预测成功率和真实值强相关,但绝对值偏低,作者也说这个方向还在早期。更实际的用法是先筛掉不行的策略,把真机资源留给有希望的。
- 有哪些代表性的世界模型?
- NVIDIA Cosmos 是面向物理 AI 的世界基础模型平台,开放了预训练模型。Meta 的 V-JEPA 2 用超过 100 万小时视频预训练。DreamGen 是用视频世界模型造机器人数据的流程。Dreamer 系列把世界模型用于强化学习。
- 世界模型和强化学习是什么关系?
- 世界模型能替策略在想象里试错。Dreamer 学一个环境模型,靠想象未来改进行为,减少在真实环境里的试错次数。这也是 DayDreamer 能在真机上直接学的原因。
来源
- Ha & Schmidhuber · World Models(arXiv 1803.10122)arxiv.org
- Hafner 等 · Mastering Diverse Domains through World Models(DreamerV3,arXiv 2301.04104)arxiv.org
- Wu 等 · DayDreamer: World Models for Physical Robot Learning(arXiv 2206.14176)arxiv.org
- NVIDIA · Cosmos World Foundation Model Platform for Physical AI(arXiv 2501.03575)arxiv.org
- Meta FAIR · V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning(arXiv 2506.09985,HTML 版)arxiv.org
- Meta FAIR · V-JEPA 2 论文 PDFarxiv.org
- Jang 等(NVIDIA 等)· DreamGen: Unlocking Generalization in Robot Learning through Video World Models(arXiv 2505.12705)arxiv.org
- Google DeepMind Gemini Robotics Team · Evaluating Gemini Robotics Policies in a Veo World Simulator(arXiv 2512.10675)arxiv.org
- NVIDIA · GR00T N1: An Open Foundation Model for Generalist Humanoid Robots(arXiv 2503.14734)arxiv.org
核验于 2026-11-06