- 类别
- 模型 · 运动控制
- 开放程度
- 开源
- 发布时间
- 2024 年 3 月
- 开源协议
- MIT
- 发布方所在地
- 中国
项目简介
把三维点云表示与扩散策略结合的视觉模仿学习算法(DP3),用紧凑的点云编码生成机器人动作,适用于灵巧手等高维控制和低维控制任务。仓库提供 Adroit、DexArt、MetaWorld 共 57 个仿真任务的环境和专家策略、训练评测代码及真机数据,真机使用 Franka 机械臂加 Allegro 灵巧手。改进版 iDP3 采用第一视角 3D 表示、无需相机标定和点云分割,面向人形机器人操作,开放代码、数据和检查点,在傅利叶 GR1 上部署。
- 规模
- DP3 覆盖 57 个仿真任务;iDP3 开放 3 个真机任务的完整数据与检查点
3D Diffusion Policy 安装要点
来源:INSTALL.md依据官方资料的 master 版本整理,核验于 2026-11-06。版本更新后命令可能变化,以官方文档为准。
克隆仓库并创建环境
两次 cd:仓库和子目录同名;torch 这行用于 cuda>=12.1
git clone https://github.com/YanjieZe/3D-Diffusion-Policy.git cd 3D-Diffusion-Policy conda create -n dp3 python=3.8 conda activate dp3 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 cd 3D-Diffusion-Policy && pip install -e . && cd ..安装 MuJoCo 210
cd ~/.mujoco wget https://github.com/deepmind/mujoco/releases/download/2.1.0/mujoco210-linux-x86_64.tar.gz -O mujoco210.tar.gz --no-check-certificate tar -xvzf mujoco210.tar.gz配置环境变量
写进 ~/.bashrc 后 source,再开新终端
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${HOME}/.mujoco/mujoco210/bin export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/nvidia export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64 export MUJOCO_GL=egl安装 mujoco-py
cd YOUR_PATH_TO_THIRD_PARTY cd mujoco-py-2.1.2.14 pip install -e . cd ../..安装仿真环境
还要手动下载 DexArt assets 和 Adroit RL experts
pip install setuptools==59.5.0 Cython==0.29.35 patchelf==0.17.2.0 cd third_party cd dexart-release && pip install -e . && cd .. cd gym-0.21.0 && pip install -e . && cd .. cd Metaworld && pip install -e . && cd .. cd rrl-dependencies && pip install -e mj_envs/. && pip install -e mjrl/. && cd ..安装 pytorch3d 和其余依赖
先回到仓库根目录再跑第一行
cd third_party/pytorch3d_simplified && pip install -e . && cd .. pip install zarr==2.12.0 wandb ipdb gpustat dm_control omegaconf hydra-core==1.2.0 dill==0.3.5.1 einops==0.4.1 diffusers==0.11.1 numba==0.56.4 moviepy imageio av matplotlib termcolor
环境要求
来源:INSTALL.md- GPU
- 官方在 3090、A40、A800、A100 上验证
- CUDA 和驱动
- CUDA 11.7,驱动 515.65.01
- 训练显存来源:README.md
- 约 10 GB,A40 上约 3 小时(README)
- Python
- 3.8
- MuJoCo
- mujoco210 和 mujoco-py 2.1.2.14
- Gym
- 必须用仓库里的 third_party/gym-0.21.0
- 真机系统来源:README.md
- Ubuntu 20.04.01(README)
适配矩阵
来源:README.md两种算法配置的训练和推理开销,官方没写的格子留空
| 名称 | 训练显存 | 训练时长 | 推理速度 |
|---|---|---|---|
| DP3(dp3.yaml) | ~10G | ~3 小时(A40) | — |
| Simple DP3(simple_dp3.yaml) | — | 1~2 小时 | 25 FPS |
✓ 官方资料写明支持,— 资料没写,版本号照原文。没写不等于不支持。
常见报错
解法来自官方文档、维护者回复或提问者确认,部分报错出自旧版本。
error in gym setup command: 'extras_require' must be a dictionary whose values are strings or lists of strings containing valid project/version requirement specifiers.原因pip 24 下安装 third_party/gym-0.21.0 会失败
解决除了降 setuptools,再把 pip 降到 21
来源:ERROR_CATCH.mdpip install pip==21has invalid metadata: Expected end or semicolon (after version specifier)原因gym 的 setup.py 里 opencv-python 版本没写完整
解决打开 third_party/gym-0.21.0/setup.py 第 20 行,在 opencv-python>=3. 末尾补 0
来源:ERROR_CATCH.mdImportError: cannot import name 'cached_download' from 'huggingface_hub'原因只有 huggingface_hub 0.26 以下才有 cached_download
解决把 huggingface_hub 降到 0.25.2
来源:ERROR_CATCH.mdpip install huggingface_hub==0.25.2fatal error: GL/glew.h: No such file or directory解决编译 mujoco-py 缺头文件,安装 libglew-dev
来源:ERROR_CATCH.mdsudo apt-get install libglew-devRuntimeError: Fail to initialize OpenGL解决在终端里取消 LD_PRELOAD
来源:ERROR_CATCH.mdunset LD_PRELOADRuntimeError: Not compiled with GPU support.解决确认有 NVIDIA GPU,然后在当前 conda 环境里重装 pytorch3d
来源:Issue #33
适配机器人
- Franka
- Allegro Hand
- Fourier GR1