Cosmos 3
NVIDIA美国
NVIDIA Cosmos 平台的第三代世界基础模型,采用统一的混合 Transformer 架构,一个模型两种用法:Reasoner 输入文本和视觉、输出文本,用于场景理解、任务…
V-JEPA 2
Meta FAIR美国
Meta FAIR 用互联网规模视频自监督训练的视频模型,通过在潜在特征空间预测被遮挡部分来学习理解和预测物理世界。动作条件版 V-JEPA 2-AC 在其编码器上用少量 DROI…
LeWorldModel
Mila、New York University 等加拿大
从原始像素端到端训练的联合嵌入预测架构(JEPA)世界模型。训练只用两项损失:下一时刻嵌入的预测损失,以及让潜在嵌入服从高斯分布的正则项,不依赖预训练编码器或指数滑动平均等防坍塌技…
Cosmos-Predict
NVIDIA美国
NVIDIA Cosmos 平台中的世界基础模型系列,以视频形式模拟和预测世界的未来状态,服务机器人和自动驾驶的合成数据生成、策略评估等。最新的 Cosmos-Predict2.5…
LingBot-Video
蚂蚁灵波中国
蚂蚁灵波面向具身智能的视频生成模型,支持文生图、文生视频和图文生视频。训练数据在大规模网络视频外加入 7 万小时以上具身数据,并用美学、物理合理性和任务完成度多种奖励优化,评测覆盖…
GigaWorld
极佳科技中国
极佳科技(GigaAI)面向具身智能的世界模型系列。GigaWorld-0 定位为 VLA 训练的数据引擎,由可控制外观、视角和动作语义的视频生成模型 GigaWorld-0-Vi…
Boundless-World-Model
同济大学中国
同济大学团队开源的动作条件视频世界模型,基于 Wan2.2-TI2V-5B,输入初始画面、历史画面和机械臂动作序列,自回归预测后续操作视频,作为机器人操作的低成本仿真器,用于数据生…
DreamDojo
NVIDIA美国
NVIDIA 从大规模人类视频学习的通用机器人世界模型,可按输入的动作交互式地生成未来画面,作为机器人的模拟器使用。先在 4.4 万小时第一视角人类视频上预训练,借助隐动作模型利用…
Robotic World Model
ETH Zurich瑞士
ETH Zurich 提出的机器人世界模型,用神经网络学习机器人动力学作为模拟器,供基于模型的强化学习优化策略;后续的 RWM-U 加入不确定性估计,使离线基于模型的强化学习可直接…
Genie Envisioner
智元机器人中国
智元机器人推出的机器人操作世界基础模型平台,由三部分组成:GE-Base 是基于 LTX-Video 的多视角、指令条件视频生成世界模型,在 AgiBot World 数据上预训练…
PointWorld
NVIDIA、Stanford University美国
面向真实场景机器人操作的大规模预训练 3D 世界模型。输入局部可观测的 RGB-D 采集数据,以及同样表示为 3D 点流的机器人动作,输出整个场景的 3D 点流预测,用于操作中的动…
DreamGen
NVIDIA美国
NVIDIA GEAR 实验室用视频世界模型为机器人生成训练数据的流程。先在目标机器人数据上微调 Cosmos-Predict2 等视频世界模型,用单张图像加语言指令生成新任务、新…
Ctrl-World
Stanford University、清华大学美国
面向机器人操作的可控生成式世界模型,以 Stable Video Diffusion 视频扩散模型为底座,在 DROID 数据集上训练。输入初始观测和动作序列,预测后续视频画面与状…
DINO-WM
New York University、Meta AI美国
基于预训练视觉特征的世界模型:用 DINOv2 提取的图像块特征表示状态,在特征空间中预测执行动作后的未来状态,不需要重建像素。训练后可配合 CEM 等规划器,在测试时针对给定的目…
