具身智能模型
收录 117 个具身智能模型,包括 VLA 模型、世界模型、具身大脑和运动控制,涵盖发布机构、开放程度、开源协议与适配机器人。
SmolVLA
Hugging Face美国
面向机器人操作的轻量视觉语言动作模型,接收图像、机器人状态和语言指令,通过动作专家生成连续控制动作。基于 LeRobot 社区数据训练,提供预训练权重及微调、推理实现,可作为低成本…
Cosmos 3
NVIDIA美国
NVIDIA Cosmos 平台的第三代世界基础模型,采用统一的混合 Transformer 架构,一个模型两种用法:Reasoner 输入文本和视觉、输出文本,用于场景理解、任务…
GR00T N1
NVIDIA美国
GR00T N 系列是 NVIDIA 面向通用人形机器人的开源 VLA 基础模型,仓库包含 N1、N1.5、N1.6 和 N1.7。模型由视觉语言骨干和流匹配扩散 Transfor…
π0
Physical Intelligence美国
π0 系列是 Physical Intelligence 的通用机器人 VLA 模型,openpi 仓库提供官方代码和开源权重:基于流匹配的 π0、基于 FAST 动作分词器的自回…
OpenVLA
Stanford University、UC Berkeley 等美国
斯坦福大学等发布的开源视觉-语言-动作模型,输入单张相机图像和语言指令,以离散 token 形式输出 7 自由度末端动作。模型基于 Prismatic VLM(DINOv2 与 S…
HY-Embodied
腾讯中国
腾讯 Robotics X 与混元团队发布的具身基础模型系列。HY-Embodied-0.5(MoT-2B)面向端侧部署;Hy-Embodied-VLM-1.0 是基于 Hy3-A…
Cosmos Reason
NVIDIA美国
NVIDIA 面向物理 AI 与机器人的推理视觉语言模型,输入图像或视频与文本,用长链式思维输出对空间、时间和物理常识的理解,可作为规划模型推断具身智能体的下一步动作,也可用于判断…
V-JEPA 2
Meta FAIR美国
Meta FAIR 用互联网规模视频自监督训练的视频模型,通过在潜在特征空间预测被遮挡部分来学习理解和预测物理世界。动作条件版 V-JEPA 2-AC 在其编码器上用少量 DROI…
Gemini Robotics
Google DeepMind英国
Google DeepMind 基于 Gemini 的机器人模型系列:视觉-语言-动作模型 Gemini Robotics 由图像和语言指令输出机器人动作;具身推理模型 Gemin…
Magma
Microsoft Research、University of Maryland 等美国
Magma 是微软研究院的多模态智能体基础模型,同一模型能理解图像和视频,也能为界面导航和机器人操作生成视觉规划与动作。预训练使用多模态理解、UI 导航和 OXE 机器人数据,并借…
Diffusion Policy
Columbia University、Toyota Research Institute 等美国
哥伦比亚大学、丰田研究院和 MIT 提出的视觉运动策略学习方法,把机器人动作序列生成建模为条件去噪扩散过程,根据图像或低维状态观测输出未来一段动作,提供 CNN 和 Transfo…
LeWorldModel
Mila、New York University 等加拿大
从原始像素端到端训练的联合嵌入预测架构(JEPA)世界模型。训练只用两项损失:下一时刻嵌入的预测损失,以及让潜在嵌入服从高斯分布的正则项,不依赖预训练编码器或指数滑动平均等防坍塌技…
GR00T Whole-Body Control
NVIDIA美国
NVIDIA 的人形机器人全身控制平台,提供训练、评估和部署全身控制器的代码与模型。包括 GR00T N1.5 / N1.6 使用的解耦式全身控制器(下肢强化学习、上肢逆运动学);…
Cosmos-Predict
NVIDIA美国
NVIDIA Cosmos 平台中的世界基础模型系列,以视频形式模拟和预测世界的未来状态,服务机器人和自动驾驶的合成数据生成、策略评估等。最新的 Cosmos-Predict2.5…
Helix
Figure AI美国
Figure AI 为自家人形机器人开发的视觉-语言-动作模型,分两部分:S2 是基于开源权重视觉语言模型的 7B 模型,以 7–9 Hz 理解画面和语言指令,输出潜向量;S1 是…
RDT
清华大学中国
RDT 是清华大学 TSAIL 团队的机器人扩散基础模型系列。RDT-1B 是面向双臂操作的扩散 Transformer,根据语言指令和最多三路图像预测未来 64 步动作,统一动作…
RoboBrain
北京智源人工智能研究院中国
北京智源人工智能研究院发布的具身大脑模型系列,输入图像或视频与语言指令,输出任务规划、可供性区域、空间指点和操作轨迹,把抽象指令拆成机器人可执行的步骤。1.0 版基于 ShareR…
GO-1
智元机器人、OpenDriveLab中国
智元机器人的通用具身基座模型,采用视觉-语言-隐动作(ViLLA)架构:多模态大模型理解图像和指令,隐式规划器预测隐动作,动作专家生成机器人动作,在智元的 AgiBot World…
DeepMimic
UC Berkeley、University of British Columbia美国
加州大学伯克利分校提出的基于物理的动作模仿方法,用深度强化学习训练仿真人形角色模仿动作捕捉片段,学习翻跟头、旋踢、行走等技能,并能与任务目标结合。仓库同时包含后续工作 AMP(对抗…
Ψ₀
University of Southern California美国
Ψ₀ 是面向人形机器人灵巧移动操作的开源 VLA 模型,先在人类第一视角视频(EgoDex)上学习任务语义和视觉表征,再用少量真机遥操作数据后训练。结构分三层:Qwen3-VL-2…
DreamZero
NVIDIA美国
NVIDIA GEAR 实验室的世界-动作模型,在同一个模型里联合预测未来视频和机器人动作,直接作为策略控制机器人。以 Wan2.1-I2V-14B 视频生成模型为底座,输入三路相…
LingBot-VLA
蚂蚁灵波中国
LingBot-VLA 是蚂蚁灵波的 VLA 基础模型系列。1.0 版以 Qwen2.5-VL-3B-Instruct 为视觉语言骨干,在 9 种双臂机器人构型的真机数据上预训练,…
LingBot-Video
蚂蚁灵波中国
蚂蚁灵波面向具身智能的视频生成模型,支持文生图、文生视频和图文生视频。训练数据在大规模网络视频外加入 7 万小时以上具身数据,并用美学、物理合理性和任务完成度多种奖励优化,评测覆盖…
GigaBrain-0
极佳科技中国
GigaBrain-0 是极佳科技(GigaAI)的具身 VLA 基础模型系列,用世界模型生成数据扩充训练,已开源 0、0.1 和 0.7 版权重。GigaBrain-0.7 采用…
VLA-Adapter
OpenHelix Team、北京邮电大学 等中国
VLA-Adapter 是一种小规模 VLA 模型范式,研究如何把视觉语言模型的表征高效桥接到动作空间。默认用 Prismatic 架构、以 Qwen2.5-0.5B 为语言骨干的…
LingBot-VA
蚂蚁灵波中国
蚂蚁灵波的因果视频-动作世界模型,用自回归扩散框架在同一条交错序列里同时预测未来画面和机器人动作,直接用于机器人控制。采用双流混合 Transformer 结构,视觉与动作 tok…
GigaWorld
极佳科技中国
极佳科技(GigaAI)面向具身智能的世界模型系列。GigaWorld-0 定位为 VLA 训练的数据引擎,由可控制外观、视角和动作语义的视频生成模型 GigaWorld-0-Vi…
FLUX 3 Action
Black Forest Labs德国
Black Forest Labs 发布的开放权重世界-动作模型(WAM)。输入相机画面、机器人状态和文本指令,将下一段动作块与未来视频帧联合去噪生成,直接输出关节目标控制机器人。…
BeyondMimic
UC Berkeley美国
加州大学伯克利分校 Hybrid Robotics 实验室的人形机器人控制框架,支持高动态动作跟踪,并可在测试时用引导扩散控制器按任务调整行为。本仓库是其中的动作跟踪训练部分,基于…
DM0
原力灵机中国
DM0 是原力灵机(Dexmal)的具身原生 VLA 模型系列,OpenDM 仓库开源了新一代 DM0.5 的权重、训练推理脚本和评测流程。DM0.5 针对开放式指令、长程任务、动…
Octo
UC Berkeley、Stanford University 等美国
Octo 是开源的通用机器人策略模型,采用 Transformer 主干加扩散动作头,在 Open X-Embodiment 的 80 万条轨迹上预训练。支持多路相机输入,可用语言…
RT-2
Google DeepMind英国
Google DeepMind 提出的视觉-语言-动作模型。把机器人动作写成文本 token,在网络视觉语言数据和机器人轨迹上联合微调预训练视觉语言模型,让同一个模型既能回答视觉问…
ACT
Stanford University、UC Berkeley 等美国
斯坦福大学等提出的模仿学习策略,用基于 Transformer 的 CVAE 一次预测一段连续动作(动作分块),并可用时间集成让执行更平滑,用于低成本双臂硬件上的精细操作。仓库提供…
ASAP
Carnegie Mellon University、NVIDIA美国
卡内基梅隆大学与 NVIDIA 提出的人形机器人敏捷全身技能学习方法:先在仿真中用重定向的人体动作训练基于相位的动作跟踪策略,再用真机数据训练补偿仿真与现实动力学差异的增量动作模型…
LingBot-Depth
蚂蚁灵波中国
蚂蚁灵波面向机器人的 RGB-D 空间感知模型,用掩码深度建模做自监督训练,把深度相机输出的残缺、带噪深度补全为度量尺度准确的深度图和点云。输入 RGB 图像、原始深度和相机内参,…
UnifoLM-WMA
宇树科技中国
宇树科技 UnifoLM 系列中的世界模型-动作框架。核心是理解机器人与环境物理交互的视频世界模型,有两种用法:决策模式下接动作头,借助对未来交互的预测输出动作;仿真模式下作为交互…
Boundless-World-Model
同济大学中国
同济大学团队开源的动作条件视频世界模型,基于 Wan2.2-TI2V-5B,输入初始画面、历史画面和机械臂动作序列,自回归预测后续操作视频,作为机器人操作的低成本仿真器,用于数据生…
RT-1
Google Research、Everyday Robots美国
RT-1 是 Google 的端到端机器人控制模型:用 FiLM 调制的 EfficientNet 编码图像和指令,经 TokenLearner 压缩后由 Transformer …
Fast-WAM
清华大学、星海图中国
清华大学交叉信息研究院与星海图研究「世界-动作模型是否需要在测试时想象未来」的工作。以 Wan2.2-5B 视频扩散模型为主干,加一个 1B 参数的动作专家,训练时同时学习视频预测…
WALL-OSS
自变量机器人中国
WALL-OSS 是自变量机器人开源的具身基础模型系列,以 Qwen2.5-VL 为底座扩展出动作分支,经大规模多模态预训练获得具身理解和操作能力。Wall-X 仓库提供训练推理代…
DreamDojo
NVIDIA美国
NVIDIA 从大规模人类视频学习的通用机器人世界模型,可按输入的动作交互式地生成未来画面,作为机器人的模拟器使用。先在 4.4 万小时第一视角人类视频上预训练,借助隐动作模型利用…
MolmoAct
Allen Institute for AI美国
Ai2 的开源动作推理模型系列。MolmoAct 基于 Qwen2.5-7B 和 SigLIP2,先输出深度感知 token 和图像上的末端轨迹,再输出机器人动作,中间推理可视化、…
OpenVLA-OFT
Stanford University美国
斯坦福大学提出的 VLA 优化微调方案,在 OpenVLA 基础上改用并行解码、动作分块、连续动作表示和 L1 回归目标,提高推理速度,并支持多视角图像与本体状态输入;用于 ALO…
3D Diffusion Policy
上海期智研究院、上海交通大学 等中国
把三维点云表示与扩散策略结合的视觉模仿学习算法(DP3),用紧凑的点云编码生成机器人动作,适用于灵巧手等高维控制和低维控制任务。仓库提供 Adroit、DexArt、MetaWor…
GigaWorld-Policy
极佳科技中国
GigaWorld-Policy 是极佳科技(GigaAI)以动作为中心的世界-动作模型(WAM)机器人策略:训练时用未来画面变化做稠密监督,推理时只解码动作、不生成视频,以降低延…
Motus
清华大学、北京大学 等中国
清华大学等提出的统一隐动作世界模型。用混合 Transformer 结构整合理解、动作和视频生成三个专家,视频生成基于 Wan2.2-5B、理解部分基于 Qwen3-VL-2B,借…
RynnVLA
阿里巴巴达摩院中国
RynnVLA 是阿里巴巴达摩院的 VLA 模型系列。本仓库的 RynnVLA-002 由 WorldVLA 升级而来,是把 VLA 动作模型和世界模型统一起来的自回归动作世界模型…
GNM / ViNT / NoMaD
UC Berkeley美国
General Navigation Models 是 UC Berkeley 的移动机器人视觉导航基础模型家族,包括 GNM、ViNT 和基于扩散策略的 NoMaD。它们是以目标…
PHC
Carnegie Mellon University、Meta美国
卡内基梅隆大学与 Meta Reality Labs 提出的仿真人形实时动作模仿控制器(ICCV 2023),用渐进式多策略强化学习训练,可持续跟踪大规模动作捕捉数据,摔倒后能自行…
UniVLA
OpenDriveLab、香港大学中国香港
UniVLA 是基于任务中心潜在动作的通用 VLA 模型:先从跨本体机器人数据和人类视频(OpenX、Ego4D)中无监督提取任务相关的潜在动作,在与本体无关的统一动作空间中训练策…
RynnBrain
阿里巴巴达摩院中国
阿里巴巴达摩院发布的具身基础模型系列,采用统一的仅解码器视觉语言架构,输入第一视角图像或视频与语言指令,输出文本、目标框、指点序列、轨迹、3D 框和接触点,覆盖空间理解、物体定位、…
InternVLA
上海人工智能实验室中国
上海人工智能实验室的视觉-语言-动作模型系列。InternVLA-M1 以 Qwen2.5-VL 为底座,先学空间定位等空间先验,再接 DiT 动作头输出动作;InternVLA-…
Being-H
智在无界中国
Being-H 是智在无界(BeingBeyond)以人为中心的具身基础模型系列,从大规模人类视频中学习操作先验。Being-H0 用人类视频做 VLA 预训练;旗舰 VLA Be…
Robot Parkour Learning
上海期智研究院、Stanford University 等中国
上海期智研究院、斯坦福大学等提出的四足机器人跑酷学习方法,先在 Isaac Gym 中用强化学习分别训练攀爬高障碍、跃过大间隙、钻过低矮障碍等技能,再蒸馏成只依赖机载深度相机的单一…
NeuPAN
hanruihua、香港大学中国香港
端到端的移动机器人局部运动规划器,把学习方法与优化方法结合:神经网络模块 DUNE 把障碍物点云映射为距离相关的潜在特征,再交给基于 MPC 的近端交替最小化网络,直接由原始障碍点…
Human to Humanoid
Carnegie Mellon University美国
卡内基梅隆大学 LeCAR 实验室 H2O 与 OmniH2O 两项工作的官方实现,用强化学习训练人形机器人实时全身遥操作策略:先在仿真中用特权信息训练教师策略,再蒸馏为只依赖 V…
KungfuBot
中国电信人工智能研究院、上海交通大学中国
中国电信人工智能研究院(TeleAI)与上海交通大学提出的基于物理的人形机器人全身控制框架,用于学习功夫、舞蹈等高动态动作。流程是把视频、LAFAN、AMASS 等来源的人体动作统…
DIAL-MPC
Carnegie Mellon University美国
卡内基梅隆大学 LeCAR 实验室提出的足式机器人采样式模型预测控制框架,借鉴扩散模型的退火思路,直接在 Brax 物理仿真中采样和推演,实现全阶、力矩级控制,不需要训练,也不需要…
DW05
原力灵机中国
原力灵机(Dexmal)面向具身决策的多模态世界模型,在一个框架里统一未来视频预测、动作生成和状态价值估计。输入语言、图像或视频、机器人类型、状态和动作,以 Wan 视频模型为主干…
VIMA
Stanford University、NVIDIA美国
面向桌面机器人操作的多模态提示模型,将文本与图像提示编码后,自回归预测机械臂动作。提供多个规模的预训练权重,配套 VIMA-Bench 研究视觉目标、操作约束和示范条件下的任务泛化…
Galaxea G0
星海图中国
Galaxea G0 是星海图开源的 VLA 模型系列,先后发布 G0-VLA、G0Plus、面向 R1 Pro 端侧部署的 G0Tiny 和最新的 G0.5。G0.5 是自回归 …
Meta Motivo
Meta美国
Meta FAIR 发布的行为基础模型,用无监督强化学习方法 FB-CPR(前向-后向表示加条件策略正则)在无标注动作捕捉数据上训练,控制 HumEnv 中基于物理的虚拟人形完成全…
ReKep
Stanford University、Columbia University美国
斯坦福大学与哥伦比亚大学提出的机器人操作方法:用大视觉模型提取场景关键点,由视觉语言模型(如 GPT-4o)把任务写成关键点之间的时空约束,再用分层优化实时求解末端轨迹,形成能应对…
Cosmos Policy
NVIDIA、Stanford University美国
Cosmos Policy 是 NVIDIA 与斯坦福大学提出的机器人策略,把视频生成模型 Cosmos-Predict2-2B 微调为视觉运动控制策略。输入第三人称图像、腕部图像…
X-VLA
清华大学中国
X-VLA 是基于软提示(soft prompt)的跨本体 VLA 模型,为每种本体学习专属的可学习嵌入,引导统一的 Transformer 主干在异构机器人数据上做多域策略学习。…
Xiaomi-Robotics-1
小米中国
小米面向移动操作的视觉-语言-动作基础模型。以 Qwen3-VL-4B-Instruct 为底座,通过混合 Transformer 结构接入扩散 Transformer 动作模块;…
SpatialVLA
上海人工智能实验室、复旦大学 等中国
SpatialVLA 是强化空间理解的 VLA 模型,以 PaliGemma2 为骨干,用 Ego3D 位置编码把三维空间信息注入视觉特征,用自适应动作网格把连续动作离散成空间动作…
NaVILA
University of California San Diego、University of Southern California 等美国
NaVILA 是足式机器人视觉语言导航的两层框架:上层 VLA 根据视频帧和语言指令生成用自然语言表达的中层导航指令,下层实时运动控制策略执行并避障。VLA 部分基于 NVILA(…
Spirit-v1.5
千寻智能中国
Spirit-v1.5 是千寻智能发布的机器人基础模型(VLA),结构为 Qwen3-VL 视觉语言骨干加 DiT 动作头。仓库提供官方模型实现、推理代码、基础模型检查点,以及针对…
HumanPlus
Stanford University美国
斯坦福大学提出的人形机器人全身跟随与模仿学习系统。底层 Humanoid Shadowing Transformer(HST)在仿真中用强化学习训练,可用单个 RGB 相机实时估计…
VideoMimic
UC Berkeley美国
加州大学伯克利分校提出的从单目视频学习人形机器人情境化全身控制的方法。real-to-sim 流程从普通视频中同时重建三维环境和人体动作,并重定向到人形机器人;仿真训练分动作捕捉预…
VoxPoser
Stanford University、University of Illinois Urbana-Champaign美国
斯坦福大学提出的零样本机器人操作方法:大语言模型生成代码、调用视觉语言模型,把自然语言指令组合成三维体素空间中的可供性与约束价值图,再由运动规划器据此合成末端轨迹,不需要任务训练数…
BFM-Zero
Carnegie Mellon University、Meta美国
卡内基梅隆大学 LeCAR 实验室与 Meta 提出的可提示人形机器人行为基础模型,用无监督强化学习在动作数据上学习共享潜空间,同一策略可通过动作跟踪、目标到达、奖励优化等提示零样…
UnifoLM-VLA
宇树科技中国
宇树科技 UnifoLM 系列中的视觉-语言-动作模型,面向人形机器人通用操作。在视觉语言模型的基础上用机器人操作数据继续预训练,加强文本指令与 2D / 3D 空间信息的对齐和几…
VITRA
微软亚洲研究院、清华大学中国
微软亚洲研究院用真实人类活动视频预训练的操作 VLA 模型。把人手视为灵巧末端执行器,从 Ego4D、EPIC、EgoExo4D、SSv2 等没有标注的第一视角视频中自动切分出带语…
VLAC
上海人工智能实验室中国
上海人工智能实验室发布的视觉-语言-动作-评价模型,用于真机强化学习和数据筛选。输入任务描述与图像,成对比较状态变化,输出稠密任务进度、完成判断和奖励信号,也能输出动作;可零样本或…
GR-3
ByteDance Seed中国
字节跳动 Seed 的视觉-语言-动作模型,用于双臂移动机器人。以 Qwen2.5-VL-3B-Instruct 为底座,配合动作扩散 Transformer 用流匹配生成动作块,…
Qwen-VLA
Qwen Team中国
Qwen-VLA 是阿里巴巴 Qwen 团队的通用视觉-语言-动作模型,由 Qwen3.5-4B 视觉语言骨干和 1.15B 参数的 DiT 流匹配动作解码器组成。它把操作、导航、…
OpenTrack
银河通用、清华大学中国
银河通用与清华大学开源的人形机器人动作跟踪代码库,对应论文 Any2Track。基于 MuJoCo JAX 仿真,支持多 GPU 并行训练:先为不同动作簇训练专家跟踪策略,再用 D…
HOVER
NVIDIA、Carnegie Mellon University美国
NVIDIA 与卡内基梅隆大学提出的人形机器人全身控制方法,用一个统一的神经网络控制器支持关键点位置、关节角度、根部运动等多种指令模式,通过模式掩码切换。训练采用教师-学生蒸馏:先…
HoloMotion
地平线中国
地平线发布的人形机器人全身运动控制基础模型,采用以参考动作为条件的 MoE Transformer,在大规模人体动作数据上训练动作跟踪和速度跟踪策略。配套 HoloSMPL 把 V…
TurboVLA
华中科技大学、华为中国
华中科技大学与华为提出的轻量视觉-语言-动作模型。不经过大语言模型,而是分别用 DINOv3 编码图像、用 BERT 编码语言指令,经轻量的双向视觉-语言交互模块融合后,由紧凑的解…
Robo-Dopamine
北京智源人工智能研究院中国
北京智源人工智能研究院发布的机器人操作通用过程奖励模型(GRM)。模型以任务描述和多视角的初始、目标及前后状态图像为输入,预测任务进度的前进或倒退,再融合增量、前向、后向三种预测得…
VLA-JEPA
中国科学技术大学、中关村学院 等中国
在视觉-语言-动作模型中引入潜在世界模型的训练方法。以 Qwen3-VL-2B 为视觉语言底座、V-JEPA 2 为视频编码器,训练时在潜在空间预测未来画面特征,因此既能用机器人数…
LAPA
University of Washington、KAIST 等美国
从没有动作标注的视频中预训练视觉-语言-动作模型的方法。先训练隐动作量化模型,从相邻帧中学出离散隐动作;再以 Large World Model(LWM)为底座,让模型根据图像和语…
LATENT
银河通用、清华大学中国
银河通用与清华大学人形机器人打网球研究的官方实现,让机器人从不完美的人类网球动作捕捉数据中学习击球技能。完整流程包括动作跟踪器预训练、在线蒸馏和高层击球策略学习,基于 MuJoCo…
ABot-M0
高德地图中国
ABot-M0 是高德地图 CV Lab 的机器人操作模型系列。ABot-M0 是基于动作流形学习的操作 VLA 基础模型,已开源训练代码、预训练权重和数据;ABot-M0.5 是…
Robotic World Model
ETH Zurich瑞士
ETH Zurich 提出的机器人世界模型,用神经网络学习机器人动力学作为模拟器,供基于模型的强化学习优化策略;后续的 RWM-U 加入不确定性估计,使离线基于模型的强化学习可直接…
HDMI
Carnegie Mellon University美国
卡内基梅隆大学 LeCAR 实验室提出的人形机器人交互式全身控制框架,从单目 RGB 人类演示视频中学习与物体交互的全身技能,如移动行李箱。流程先用 GVHMR、GMR 等工具把人…
τ₀-VLA
上海创智学院中国
τ₀-VLA 是上海创智学院发布的分层机器人基础模型,面向长程操作任务。高层是带记忆的规划策略,根据三路相机画面生成下一个子任务,需要时借助世界模型生成目标图像,在测试时搜索备选方…
Genie Envisioner
智元机器人中国
智元机器人推出的机器人操作世界基础模型平台,由三部分组成:GE-Base 是基于 LTX-Video 的多视角、指令条件视频生成世界模型,在 AgiBot World 数据上预训练…
HPT
Massachusetts Institute of Technology、Meta FAIR美国
MIT 与 Meta FAIR 提出的异构预训练 Transformer 策略。为不同机器人本体配置各自的「茎」网络,把本体感知和视觉输入对齐到共享的 token 空间,中间共用一…
PointWorld
NVIDIA、Stanford University美国
面向真实场景机器人操作的大规模预训练 3D 世界模型。输入局部可观测的 RGB-D 采集数据,以及同样表示为 3D 点流的机器人动作,输出整个场景的 3D 点流预测,用于操作中的动…
Isaac 0.5
Perceptron美国
Perceptron 发布的开源机器人基础模型,把视频理解、具身推理、空间定位、任务进度估计和机器人控制放进同一个稀疏混合专家模型。输入图像、视频、语言指令、机器人状态和历史动作,…
HoST
上海人工智能实验室中国
上海人工智能实验室提出的人形机器人起身控制方法,用强化学习从零训练,让机器人从仰卧、俯卧、侧卧等多种姿态,在平地、平台、斜坡、靠墙等不同地形上站起来。训练在 Isaac Gym 中…
3D-VLA
University of Massachusetts Amherst、MIT-IBM Watson AI Lab美国
3D-VLA 是把视觉-语言-动作模型扩展到三维世界的生成式世界模型框架,基于 3D-LLM 构建,用交互 token 与环境交互,统一 3D 感知、推理和动作。它训练了与大语言模…
DreamGen
NVIDIA美国
NVIDIA GEAR 实验室用视频世界模型为机器人生成训练数据的流程。先在目标机器人数据上微调 Cosmos-Predict2 等视频世界模型,用单张图像加语言指令生成新任务、新…
JanusVLN
高德地图(阿里巴巴集团)、西安交通大学中国
阿里巴巴高德与西安交通大学的视觉-语言导航(VLN)模型,只用 RGB 视频和自然语言指令在连续环境中导航。在多模态大模型 Qwen2.5-VL 之上加入基于 VGGT 的 3D …
Ctrl-World
Stanford University、清华大学美国
面向机器人操作的可控生成式世界模型,以 Stable Video Diffusion 视频扩散模型为底座,在 DROID 数据集上训练。输入初始观测和动作序列,预测后续视频画面与状…
DINO-WM
New York University、Meta AI美国
基于预训练视觉特征的世界模型:用 DINOv2 提取的图像块特征表示状态,在特征空间中预测执行动作后的未来状态,不需要重建像素。训练后可配合 CEM 等规划器,在测试时针对给定的目…
SCAN-Planner
上海交通大学中国
面向四足机器人长距离导航的空间碰撞感知局部规划器,在给定路线引导下实时规划避障轨迹,可作为自主探索、视觉语言导航等上层任务的底层规划模块。支持激光雷达(如 MID360)或深度相机…
DexGraspVLA
北京大学、灵初智能 等中国
北京大学与灵初智能提出的分层灵巧抓取框架。上层规划器调用 Qwen2.5-VL-72B-Instruct,把用户指令拆解成要抓的目标物体并给出边界框,同时监控抓取过程;下层控制器用…
UMI on Legs
Stanford University、Columbia University 等美国
斯坦福大学、哥伦比亚大学与 Google DeepMind 提出的四足移动操作框架:用 UMI 手持夹爪采集真人演示训练操作策略,再与在仿真中训练、以末端轨迹为接口的全身控制器结合…
TextOp
中国电信人工智能研究院、上海交通大学 等中国
中国电信人工智能研究院(TeleAI)与上海交通大学等提出的实时交互式文本驱动人形机器人运动生成与控制框架,采用两层结构:上层的机器人运动扩散自回归模型根据可随时修改的文本指令生成…
InterMimic
University of Illinois Urbana-Champaign、Electronic Arts美国
InterMimic 是物理仿真中人-物交互(HOI)的全身控制框架,用一个统一策略模仿多种全身交互动作,可操作形状和动力学各异的物体。方法采用教师-学生蒸馏:先在 OMOMO /…
Contact-GraspNet
NVIDIA美国
NVIDIA 提出的杂乱场景 6 自由度抓取生成网络,直接从深度图或场景点云预测抓取分布,把抓取表示为观测点上的接触点加夹爪姿态,可结合物体分割只保留目标物体上的抓取。基于 Ten…
DeepThinkVLA
华中科技大学、中国人民大学 等中国
给视觉-语言-动作模型加入显式推理的方法。从 π0-FAST 检查点出发,改造成混合注意力解码器:先自回归生成思维链推理,再切换为双向注意力并行输出动作块。训练分两步,先用具身思维…
Humanoid-GPT
银河通用中国
Humanoid-GPT 是银河通用开源的人形机器人全身运动跟踪模型,对应 AstraBrain-WBC 0.5。模型为带 RoPE 的因果 Transformer,在融合主流动捕…
UnifoLM-WLA
宇树科技中国
宇树科技新一代通用人形机器人基座模型,面向桌面操作和全身移动操作。底座 UnifoLM-ER-1 基于 Qwen3-VL-4B,用 500 万条以上的检测、轨迹预测、3D 检测和空…
Zero-WAM
蚂蚁灵波、香港科技大学(广州) 等中国
蚂蚁灵波与香港科技大学(广州)、香港科技大学的世界-动作模型,面向零样本跨任务机器人操作。它把人类示范视频当作任务说明,根据语言指令或人类视频提示同时预测机器人未来画面和可执行动作…
GraspVLA
银河通用、北京大学 等中国
银河通用与北京大学等提出的抓取基础模型,只用合成数据预训练,可直接迁移到真实环境。以 InternLM2-1.8B 为语言底座,融合 DINOv2 和 SigLIP 视觉特征,按思…
LabVLA
浙江大学、上海人工智能实验室 等中国
浙江大学等面向科学实验室场景的视觉-语言-动作模型,让机器人按实验流程操作通风橱、球磨机、离心设备、玻璃器皿等仪器,并处理透明液体。以 Qwen3-VL-4B-Instruct 为…
Video Prediction Policy
星动纪元、清华大学 等中国
清华大学与星动纪元等提出的通用机器人策略。先把通用视频扩散模型 Stable Video Diffusion 在人类和机器人操作视频上微调成文本引导的视频预测模型,再取其内部对未来…
OpenLoong Dynamics Control
国地共建人形机器人创新中心、开放原子开源基金会中国
OpenLoong Dynamics Control 是 OpenLoong 开源项目中的人形机器人运动控制框架,基于模型预测控制(MPC)和全身控制(WBC),用 C++ 实现。…
Chengling Physical World Model
智澄AI中国
智澄AI 发布的机器人「物理世界模型」0.1 版,借鉴 JEPA 思路,以能量模型 Transformer(EBT)为核心:融合多视角图像、历史动作和语言指令,对候选动作轨迹打能量…
Click and Traverse
银河通用、清华大学中国
银河通用与清华大学研究人形机器人在杂乱室内无碰撞穿行的开源项目,场景同时有地面、侧方和头顶障碍及不规则物体,机器人需跨越、下蹲或侧身挤过。项目用 HumanoidPF 表示机器人身…
HEX
北京人形机器人创新中心、西安交通大学 等中国
北京人形机器人创新中心等提出的全尺寸人形机器人全身视觉-语言-动作框架。用与人形对齐的统一状态表示整合不同本体的数据,以 Qwen3-VL 为视觉语言底座,配合混合专家结构的统一本…
