运动控制开源

UMI on Legs

Stanford University、Columbia University、Google DeepMind美国

GitHub 仓库 real-stanford/umi-on-legs

又称 Manipulation-Centric Whole-body Controller

类别
模型 · 运动控制
开放程度
开源
发布时间
2024 年 7 月
开源协议
MIT
发布方所在地
美国

项目简介

斯坦福大学、哥伦比亚大学与 Google DeepMind 提出的四足移动操作框架:用 UMI 手持夹爪采集真人演示训练操作策略,再与在仿真中训练、以末端轨迹为接口的全身控制器结合,让现有视觉运动策略直接部署到带机械臂的机器狗上。仓库包含全身控制器仿真训练与真机部署代码、iPhone 里程计 iOS 应用、ARX5 机械臂 SDK,以及物料清单、3D 打印和装配指南,可下载数据与检查点。

UMI on Legs 安装要点

来源:starter.md

依据官方资料的 main 版本整理,核验于 2026-11-06。版本更新后命令可能变化,以官方文档为准。

  1. 克隆仓库和子模块

    git clone --recurse-submodules git@github.com:real-stanford/umi-on-legs.git
  2. 创建 mamba 环境

    官方推荐 Mamba,也可把 mamba 换成 conda

    cd mani-centric-wbc/
    mamba env create -f isaac.yml
    mamba activate isaac
  3. 安装 legged_gym

    然后按 NVIDIA 说明把 Isaac Gym 装进同一环境

    pip install -e .
  4. 下载数据和权重

    wget -qO- http://real.stanford.edu/umi-on-legs/wbc/data.zip | bsdtar -xvf- -C ./
    wget -qO- http://real.stanford.edu/umi-on-legs/wbc/checkpoints.zip | bsdtar -xvf- -C ./
  5. 运行控制器

    真机部署见 real-wbc/docs/codebase_setup.md

    python scripts/play.py --ckpt_path checkpoints/tossing/ours-real/model.pt --trajectory_file_path data/tossing.pkl --device cuda:0 --num_steps 1000 --num_envs 1 --visualize

环境要求

来源:starter.md
Python来源:isaac.yml
3.8(isaac.yml)
PyTorch来源:isaac.yml
2.1.0,CUDA 12.1(isaac.yml)
Isaac Gym
要到 NVIDIA 开发者门户下载,装进同一个 mamba 环境
真机环境来源:codebase_setup.md
在 Go2 的 Jetson 上用 VSCode Dev Container 开发和运行(codebase_setup.md)
真机网络来源:codebase_setup.md
构建容器时 Go2 的网速至少 1M/s(codebase_setup.md)

适配矩阵

来源:wbc.md

官方配置里各机器人可用的任务

名称locomotionlocomotion6dreaching
go2✓✓不支持
go2ARX5✓✓✓

✓ 官方资料写明支持,— 资料没写。没写不等于不支持。

常见报错

解法来自官方文档、维护者回复或提问者确认,部分报错出自旧版本。

ImportError: libpython3.8.so.1.0: cannot open shared object file: No such file or directory

原因IsaacGym 安装后库路径没有更新

解决命令前加上 mamba 环境的库路径,路径换成自己的

LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/path/to/your/mambaforge/envs/isaac/lib/
来源:starter.md
TypeError: __init__() got an unexpected keyword argument 'added_random_translation'

原因代码已移除随机平移,只保留高度随机

解决按维护者说明改 pose_sequence.py 的 add_random_height_range,让它支持 3D 平移

来源:Issue #22
ERROR: Could not find a version that satisfies the requirement rsl-rl==2.0.1

原因isaac.yml 依赖的 rsl-rl 版本不存在

解决维护者已在 b195f01 移除这个依赖,拉最新代码再建环境

来源:Issue #2
Memory overflow during training

原因维护者判断是 IsaacGym 的 contact buffer 泄漏

解决用 add_random_height_range 给轨迹加 z 方向偏移规避

来源:Issue #13

适配机器人

  • Unitree Go2
  • ARX5

获取方式

数据来源

本页信息均整理自以下公开资料。

9 条来源核验于 2026-10-01

星标、下载量等指标定期自动更新。

UMI on Legs:安装步骤、环境要求与常见报错 | 具身集