具身智能模型
收录 117 个具身智能模型,包括 VLA 模型、世界模型、具身大脑和运动控制,涵盖发布机构、开放程度、开源协议与适配机器人。
SmolVLA
Hugging Face美国
面向机器人操作的轻量视觉语言动作模型,接收图像、机器人状态和语言指令,通过动作专家生成连续控制动作。基于 LeRobot 社区数据训练,提供预训练权重及微调、推理实现,可作为低成本…
Cosmos 3
NVIDIA美国
NVIDIA Cosmos 平台的第三代世界基础模型,采用统一的混合 Transformer 架构,一个模型两种用法:Reasoner 输入文本和视觉、输出文本,用于场景理解、任务…
GR00T N1
NVIDIA美国
GR00T N 系列是 NVIDIA 面向通用人形机器人的开源 VLA 基础模型,仓库包含 N1、N1.5、N1.6 和 N1.7。模型由视觉语言骨干和流匹配扩散 Transfor…
π0
Physical Intelligence美国
π0 系列是 Physical Intelligence 的通用机器人 VLA 模型,openpi 仓库提供官方代码和开源权重:基于流匹配的 π0、基于 FAST 动作分词器的自回…
OpenVLA
Stanford University、UC Berkeley 等美国
斯坦福大学等发布的开源视觉-语言-动作模型,输入单张相机图像和语言指令,以离散 token 形式输出 7 自由度末端动作。模型基于 Prismatic VLM(DINOv2 与 S…
HY-Embodied
腾讯中国
腾讯 Robotics X 与混元团队发布的具身基础模型系列。HY-Embodied-0.5(MoT-2B)面向端侧部署;Hy-Embodied-VLM-1.0 是基于 Hy3-A…
Cosmos Reason
NVIDIA美国
NVIDIA 面向物理 AI 与机器人的推理视觉语言模型,输入图像或视频与文本,用长链式思维输出对空间、时间和物理常识的理解,可作为规划模型推断具身智能体的下一步动作,也可用于判断…
V-JEPA 2
Meta FAIR美国
Meta FAIR 用互联网规模视频自监督训练的视频模型,通过在潜在特征空间预测被遮挡部分来学习理解和预测物理世界。动作条件版 V-JEPA 2-AC 在其编码器上用少量 DROI…
Gemini Robotics
Google DeepMind英国
Google DeepMind 基于 Gemini 的机器人模型系列:视觉-语言-动作模型 Gemini Robotics 由图像和语言指令输出机器人动作;具身推理模型 Gemin…
Magma
Microsoft Research、University of Maryland 等美国
Magma 是微软研究院的多模态智能体基础模型,同一模型能理解图像和视频,也能为界面导航和机器人操作生成视觉规划与动作。预训练使用多模态理解、UI 导航和 OXE 机器人数据,并借…
Diffusion Policy
Columbia University、Toyota Research Institute 等美国
哥伦比亚大学、丰田研究院和 MIT 提出的视觉运动策略学习方法,把机器人动作序列生成建模为条件去噪扩散过程,根据图像或低维状态观测输出未来一段动作,提供 CNN 和 Transfo…
LeWorldModel
Mila、New York University 等加拿大
从原始像素端到端训练的联合嵌入预测架构(JEPA)世界模型。训练只用两项损失:下一时刻嵌入的预测损失,以及让潜在嵌入服从高斯分布的正则项,不依赖预训练编码器或指数滑动平均等防坍塌技…
GR00T Whole-Body Control
NVIDIA美国
NVIDIA 的人形机器人全身控制平台,提供训练、评估和部署全身控制器的代码与模型。包括 GR00T N1.5 / N1.6 使用的解耦式全身控制器(下肢强化学习、上肢逆运动学);…
Cosmos-Predict
NVIDIA美国
NVIDIA Cosmos 平台中的世界基础模型系列,以视频形式模拟和预测世界的未来状态,服务机器人和自动驾驶的合成数据生成、策略评估等。最新的 Cosmos-Predict2.5…
Helix
Figure AI美国
Figure AI 为自家人形机器人开发的视觉-语言-动作模型,分两部分:S2 是基于开源权重视觉语言模型的 7B 模型,以 7–9 Hz 理解画面和语言指令,输出潜向量;S1 是…
RDT
清华大学中国
RDT 是清华大学 TSAIL 团队的机器人扩散基础模型系列。RDT-1B 是面向双臂操作的扩散 Transformer,根据语言指令和最多三路图像预测未来 64 步动作,统一动作…
RoboBrain
北京智源人工智能研究院中国
北京智源人工智能研究院发布的具身大脑模型系列,输入图像或视频与语言指令,输出任务规划、可供性区域、空间指点和操作轨迹,把抽象指令拆成机器人可执行的步骤。1.0 版基于 ShareR…
GO-1
智元机器人、OpenDriveLab中国
智元机器人的通用具身基座模型,采用视觉-语言-隐动作(ViLLA)架构:多模态大模型理解图像和指令,隐式规划器预测隐动作,动作专家生成机器人动作,在智元的 AgiBot World…
DeepMimic
UC Berkeley、University of British Columbia美国
加州大学伯克利分校提出的基于物理的动作模仿方法,用深度强化学习训练仿真人形角色模仿动作捕捉片段,学习翻跟头、旋踢、行走等技能,并能与任务目标结合。仓库同时包含后续工作 AMP(对抗…
Ψ₀
University of Southern California美国
Ψ₀ 是面向人形机器人灵巧移动操作的开源 VLA 模型,先在人类第一视角视频(EgoDex)上学习任务语义和视觉表征,再用少量真机遥操作数据后训练。结构分三层:Qwen3-VL-2…
DreamZero
NVIDIA美国
NVIDIA GEAR 实验室的世界-动作模型,在同一个模型里联合预测未来视频和机器人动作,直接作为策略控制机器人。以 Wan2.1-I2V-14B 视频生成模型为底座,输入三路相…
LingBot-VLA
蚂蚁灵波中国
LingBot-VLA 是蚂蚁灵波的 VLA 基础模型系列。1.0 版以 Qwen2.5-VL-3B-Instruct 为视觉语言骨干,在 9 种双臂机器人构型的真机数据上预训练,…
LingBot-Video
蚂蚁灵波中国
蚂蚁灵波面向具身智能的视频生成模型,支持文生图、文生视频和图文生视频。训练数据在大规模网络视频外加入 7 万小时以上具身数据,并用美学、物理合理性和任务完成度多种奖励优化,评测覆盖…
GigaBrain-0
极佳科技中国
GigaBrain-0 是极佳科技(GigaAI)的具身 VLA 基础模型系列,用世界模型生成数据扩充训练,已开源 0、0.1 和 0.7 版权重。GigaBrain-0.7 采用…
VLA-Adapter
OpenHelix Team、北京邮电大学 等中国
VLA-Adapter 是一种小规模 VLA 模型范式,研究如何把视觉语言模型的表征高效桥接到动作空间。默认用 Prismatic 架构、以 Qwen2.5-0.5B 为语言骨干的…
LingBot-VA
蚂蚁灵波中国
蚂蚁灵波的因果视频-动作世界模型,用自回归扩散框架在同一条交错序列里同时预测未来画面和机器人动作,直接用于机器人控制。采用双流混合 Transformer 结构,视觉与动作 tok…
GigaWorld
极佳科技中国
极佳科技(GigaAI)面向具身智能的世界模型系列。GigaWorld-0 定位为 VLA 训练的数据引擎,由可控制外观、视角和动作语义的视频生成模型 GigaWorld-0-Vi…
FLUX 3 Action
Black Forest Labs德国
Black Forest Labs 发布的开放权重世界-动作模型(WAM)。输入相机画面、机器人状态和文本指令,将下一段动作块与未来视频帧联合去噪生成,直接输出关节目标控制机器人。…
BeyondMimic
UC Berkeley美国
加州大学伯克利分校 Hybrid Robotics 实验室的人形机器人控制框架,支持高动态动作跟踪,并可在测试时用引导扩散控制器按任务调整行为。本仓库是其中的动作跟踪训练部分,基于…
DM0
原力灵机中国
DM0 是原力灵机(Dexmal)的具身原生 VLA 模型系列,OpenDM 仓库开源了新一代 DM0.5 的权重、训练推理脚本和评测流程。DM0.5 针对开放式指令、长程任务、动…
Octo
UC Berkeley、Stanford University 等美国
Octo 是开源的通用机器人策略模型,采用 Transformer 主干加扩散动作头,在 Open X-Embodiment 的 80 万条轨迹上预训练。支持多路相机输入,可用语言…
RT-2
Google DeepMind英国
Google DeepMind 提出的视觉-语言-动作模型。把机器人动作写成文本 token,在网络视觉语言数据和机器人轨迹上联合微调预训练视觉语言模型,让同一个模型既能回答视觉问…
ACT
Stanford University、UC Berkeley 等美国
斯坦福大学等提出的模仿学习策略,用基于 Transformer 的 CVAE 一次预测一段连续动作(动作分块),并可用时间集成让执行更平滑,用于低成本双臂硬件上的精细操作。仓库提供…
ASAP
Carnegie Mellon University、NVIDIA美国
卡内基梅隆大学与 NVIDIA 提出的人形机器人敏捷全身技能学习方法:先在仿真中用重定向的人体动作训练基于相位的动作跟踪策略,再用真机数据训练补偿仿真与现实动力学差异的增量动作模型…
LingBot-Depth
蚂蚁灵波中国
蚂蚁灵波面向机器人的 RGB-D 空间感知模型,用掩码深度建模做自监督训练,把深度相机输出的残缺、带噪深度补全为度量尺度准确的深度图和点云。输入 RGB 图像、原始深度和相机内参,…
UnifoLM-WMA
宇树科技中国
宇树科技 UnifoLM 系列中的世界模型-动作框架。核心是理解机器人与环境物理交互的视频世界模型,有两种用法:决策模式下接动作头,借助对未来交互的预测输出动作;仿真模式下作为交互…
Boundless-World-Model
同济大学中国
同济大学团队开源的动作条件视频世界模型,基于 Wan2.2-TI2V-5B,输入初始画面、历史画面和机械臂动作序列,自回归预测后续操作视频,作为机器人操作的低成本仿真器,用于数据生…
RT-1
Google Research、Everyday Robots美国
RT-1 是 Google 的端到端机器人控制模型:用 FiLM 调制的 EfficientNet 编码图像和指令,经 TokenLearner 压缩后由 Transformer …
Fast-WAM
清华大学、星海图中国
清华大学交叉信息研究院与星海图研究「世界-动作模型是否需要在测试时想象未来」的工作。以 Wan2.2-5B 视频扩散模型为主干,加一个 1B 参数的动作专家,训练时同时学习视频预测…
WALL-OSS
自变量机器人中国
WALL-OSS 是自变量机器人开源的具身基础模型系列,以 Qwen2.5-VL 为底座扩展出动作分支,经大规模多模态预训练获得具身理解和操作能力。Wall-X 仓库提供训练推理代…
DreamDojo
NVIDIA美国
NVIDIA 从大规模人类视频学习的通用机器人世界模型,可按输入的动作交互式地生成未来画面,作为机器人的模拟器使用。先在 4.4 万小时第一视角人类视频上预训练,借助隐动作模型利用…
MolmoAct
Allen Institute for AI美国
Ai2 的开源动作推理模型系列。MolmoAct 基于 Qwen2.5-7B 和 SigLIP2,先输出深度感知 token 和图像上的末端轨迹,再输出机器人动作,中间推理可视化、…
OpenVLA-OFT
Stanford University美国
斯坦福大学提出的 VLA 优化微调方案,在 OpenVLA 基础上改用并行解码、动作分块、连续动作表示和 L1 回归目标,提高推理速度,并支持多视角图像与本体状态输入;用于 ALO…
3D Diffusion Policy
上海期智研究院、上海交通大学 等中国
把三维点云表示与扩散策略结合的视觉模仿学习算法(DP3),用紧凑的点云编码生成机器人动作,适用于灵巧手等高维控制和低维控制任务。仓库提供 Adroit、DexArt、MetaWor…
GigaWorld-Policy
极佳科技中国
GigaWorld-Policy 是极佳科技(GigaAI)以动作为中心的世界-动作模型(WAM)机器人策略:训练时用未来画面变化做稠密监督,推理时只解码动作、不生成视频,以降低延…
Motus
清华大学、北京大学 等中国
清华大学等提出的统一隐动作世界模型。用混合 Transformer 结构整合理解、动作和视频生成三个专家,视频生成基于 Wan2.2-5B、理解部分基于 Qwen3-VL-2B,借…
RynnVLA
阿里巴巴达摩院中国
RynnVLA 是阿里巴巴达摩院的 VLA 模型系列。本仓库的 RynnVLA-002 由 WorldVLA 升级而来,是把 VLA 动作模型和世界模型统一起来的自回归动作世界模型…
GNM / ViNT / NoMaD
UC Berkeley美国
General Navigation Models 是 UC Berkeley 的移动机器人视觉导航基础模型家族,包括 GNM、ViNT 和基于扩散策略的 NoMaD。它们是以目标…
