- 类别
- 模型 · 运动控制
- 开放程度
- 开源
- 发布时间
- 2024 年 7 月
- 开源协议
- MIT
- 发布方所在地
- 美国
项目简介
斯坦福大学、哥伦比亚大学与 Google DeepMind 提出的四足移动操作框架:用 UMI 手持夹爪采集真人演示训练操作策略,再与在仿真中训练、以末端轨迹为接口的全身控制器结合,让现有视觉运动策略直接部署到带机械臂的机器狗上。仓库包含全身控制器仿真训练与真机部署代码、iPhone 里程计 iOS 应用、ARX5 机械臂 SDK,以及物料清单、3D 打印和装配指南,可下载数据与检查点。
UMI on Legs 安装要点
来源:starter.md依据官方资料的 main 版本整理,核验于 2026-11-06。版本更新后命令可能变化,以官方文档为准。
克隆仓库和子模块
git clone --recurse-submodules git@github.com:real-stanford/umi-on-legs.git创建 mamba 环境
官方推荐 Mamba,也可把 mamba 换成 conda
cd mani-centric-wbc/ mamba env create -f isaac.yml mamba activate isaac安装 legged_gym
然后按 NVIDIA 说明把 Isaac Gym 装进同一环境
pip install -e .下载数据和权重
wget -qO- http://real.stanford.edu/umi-on-legs/wbc/data.zip | bsdtar -xvf- -C ./ wget -qO- http://real.stanford.edu/umi-on-legs/wbc/checkpoints.zip | bsdtar -xvf- -C ./运行控制器
真机部署见 real-wbc/docs/codebase_setup.md
python scripts/play.py --ckpt_path checkpoints/tossing/ours-real/model.pt --trajectory_file_path data/tossing.pkl --device cuda:0 --num_steps 1000 --num_envs 1 --visualize
环境要求
来源:starter.md- Python来源:isaac.yml
- 3.8(isaac.yml)
- PyTorch来源:isaac.yml
- 2.1.0,CUDA 12.1(isaac.yml)
- Isaac Gym
- 要到 NVIDIA 开发者门户下载,装进同一个 mamba 环境
- 真机环境来源:codebase_setup.md
- 在 Go2 的 Jetson 上用 VSCode Dev Container 开发和运行(codebase_setup.md)
- 真机网络来源:codebase_setup.md
- 构建容器时 Go2 的网速至少 1M/s(codebase_setup.md)
适配矩阵
来源:wbc.md官方配置里各机器人可用的任务
| 名称 | locomotion | locomotion6d | reaching |
|---|---|---|---|
| go2 | ✓ | ✓ | 不支持 |
| go2ARX5 | ✓ | ✓ | ✓ |
✓ 官方资料写明支持,— 资料没写。没写不等于不支持。
常见报错
解法来自官方文档、维护者回复或提问者确认,部分报错出自旧版本。
ImportError: libpython3.8.so.1.0: cannot open shared object file: No such file or directory原因IsaacGym 安装后库路径没有更新
解决命令前加上 mamba 环境的库路径,路径换成自己的
来源:starter.mdLD_LIBRARY_PATH=$LD_LIBRARY_PATH:/path/to/your/mambaforge/envs/isaac/lib/TypeError: __init__() got an unexpected keyword argument 'added_random_translation'原因代码已移除随机平移,只保留高度随机
解决按维护者说明改 pose_sequence.py 的 add_random_height_range,让它支持 3D 平移
来源:Issue #22ERROR: Could not find a version that satisfies the requirement rsl-rl==2.0.1原因isaac.yml 依赖的 rsl-rl 版本不存在
解决维护者已在 b195f01 移除这个依赖,拉最新代码再建环境
来源:Issue #2Memory overflow during training原因维护者判断是 IsaacGym 的 contact buffer 泄漏
解决用 add_random_height_range 给轨迹加 z 方向偏移规避
来源:Issue #13
适配机器人
- Unitree Go2
- ARX5