- 类别
- 模型 · 运动控制
- 开放程度
- 开源
- 发布时间
- 2023 年 3 月
- 开源协议
- MIT
- 发布方所在地
- 美国
项目简介
哥伦比亚大学、丰田研究院和 MIT 提出的视觉运动策略学习方法,把机器人动作序列生成建模为条件去噪扩散过程,根据图像或低维状态观测输出未来一段动作,提供 CNN 和 Transformer 两种骨干网络。仓库包含 Push-T、Robomimic 等仿真任务的训练评测代码、训练数据、实验配置与检查点,以及基于 UR5 和 SpaceMouse 遥操作的真机数据采集与部署流程,另有 Colab 示例。
Diffusion Policy 安装要点
来源:README.md依据官方资料的 main 版本整理,核验于 2026-11-06。版本更新后命令可能变化,以官方文档为准。
安装 MuJoCo 系统依赖
Ubuntu 20.04 需要;以下都在仓库根目录执行
sudo apt install -y libosmesa6-dev libgl1-mesa-glx libglfw3 patchelf创建 conda 环境
官方推荐 Mambaforge,也可用 conda env create
mamba env create -f conda_environment.yaml激活环境并登录 wandb
conda activate robodiff wandb login下载数据和配置
以 Push-T 图像任务为例
mkdir data && cd data wget https://diffusion-policy.cs.columbia.edu/data/training/pusht.zip unzip pusht.zip && rm -f pusht.zip && cd .. wget -O image_pusht_diffusion_policy_cnn.yaml https://diffusion-policy.cs.columbia.edu/data/experiments/image/pusht/diffusion_policy_cnn/config.yaml启动训练
python train.py --config-dir=. --config-name=image_pusht_diffusion_policy_cnn.yaml training.seed=42 training.device=cuda:0 hydra.run.dir='data/outputs/${now:%Y.%m.%d}/${now:%H.%M.%S}_${name}_${task_name}'
环境要求
来源:README.md- 操作系统
- Linux;真机流程在 Ubuntu 20.04.3 上测试
- GPU
- NVIDIA GPU
- macOS
- conda_environment_macos.yaml 只用于开发,基准支持不完整
- Python来源:conda_environment.yaml
- 3.9(conda_environment.yaml)
- PyTorch来源:conda_environment.yaml
- 1.12.1,cudatoolkit 11.6(conda_environment.yaml)
- Gym来源:conda_environment.yaml
- 0.21.0(conda_environment.yaml)
常见报错
解法来自官方文档、维护者回复或提问者确认,部分报错出自旧版本。
RuntimeError: MUJOCO_PATH environment variable is not set解决激活环境后手动安装 mujoco 2.3.5
来源:Issue #161conda activate robodiff pip install mujoco==2.3.5python setup.py egg_info did not run successfully.原因gym 包安装问题
解决Colab 上把 setuptools 固定到 65.5.0,仍失败再把 pip 固定到 22,官方已更新 Colab
来源:Issue #2raise EOFError原因内存不足,子进程被杀(提问者判断)
解决释放或增加内存后重新训练
来源:Issue #36
适配机器人
- UR5-CB3
- UR5e