运动控制开源

3D Diffusion Policy

上海期智研究院、上海交通大学、清华大学、Stanford University中国

GitHub 仓库 YanjieZe/3D-Diffusion-Policy

又称 DP3、iDP3、Improved 3D Diffusion Policy

类别
模型 · 运动控制
开放程度
开源
发布时间
2024 年 3 月
开源协议
MIT
发布方所在地
中国

项目简介

把三维点云表示与扩散策略结合的视觉模仿学习算法(DP3),用紧凑的点云编码生成机器人动作,适用于灵巧手等高维控制和低维控制任务。仓库提供 Adroit、DexArt、MetaWorld 共 57 个仿真任务的环境和专家策略、训练评测代码及真机数据,真机使用 Franka 机械臂加 Allegro 灵巧手。改进版 iDP3 采用第一视角 3D 表示、无需相机标定和点云分割,面向人形机器人操作,开放代码、数据和检查点,在傅利叶 GR1 上部署。

规模
DP3 覆盖 57 个仿真任务;iDP3 开放 3 个真机任务的完整数据与检查点

3D Diffusion Policy 安装要点

来源:INSTALL.md

依据官方资料的 master 版本整理,核验于 2026-11-06。版本更新后命令可能变化,以官方文档为准。

  1. 克隆仓库并创建环境

    两次 cd:仓库和子目录同名;torch 这行用于 cuda>=12.1

    git clone https://github.com/YanjieZe/3D-Diffusion-Policy.git
    cd 3D-Diffusion-Policy
    conda create -n dp3 python=3.8
    conda activate dp3
    pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
    cd 3D-Diffusion-Policy && pip install -e . && cd ..
  2. 安装 MuJoCo 210

    cd ~/.mujoco
    wget https://github.com/deepmind/mujoco/releases/download/2.1.0/mujoco210-linux-x86_64.tar.gz -O mujoco210.tar.gz --no-check-certificate
    tar -xvzf mujoco210.tar.gz
  3. 配置环境变量

    写进 ~/.bashrc 后 source,再开新终端

    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${HOME}/.mujoco/mujoco210/bin
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/nvidia
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda/lib64
    export MUJOCO_GL=egl
  4. 安装 mujoco-py

    cd YOUR_PATH_TO_THIRD_PARTY
    cd mujoco-py-2.1.2.14
    pip install -e .
    cd ../..
  5. 安装仿真环境

    还要手动下载 DexArt assets 和 Adroit RL experts

    pip install setuptools==59.5.0 Cython==0.29.35 patchelf==0.17.2.0
    cd third_party
    cd dexart-release && pip install -e . && cd ..
    cd gym-0.21.0 && pip install -e . && cd ..
    cd Metaworld && pip install -e . && cd ..
    cd rrl-dependencies && pip install -e mj_envs/. && pip install -e mjrl/. && cd ..
  6. 安装 pytorch3d 和其余依赖

    先回到仓库根目录再跑第一行

    cd third_party/pytorch3d_simplified && pip install -e . && cd ..
    pip install zarr==2.12.0 wandb ipdb gpustat dm_control omegaconf hydra-core==1.2.0 dill==0.3.5.1 einops==0.4.1 diffusers==0.11.1 numba==0.56.4 moviepy imageio av matplotlib termcolor

环境要求

来源:INSTALL.md
GPU
官方在 3090、A40、A800、A100 上验证
CUDA 和驱动
CUDA 11.7,驱动 515.65.01
训练显存来源:README.md
约 10 GB,A40 上约 3 小时(README)
Python
3.8
MuJoCo
mujoco210 和 mujoco-py 2.1.2.14
Gym
必须用仓库里的 third_party/gym-0.21.0
真机系统来源:README.md
Ubuntu 20.04.01(README)

适配矩阵

来源:README.md

两种算法配置的训练和推理开销,官方没写的格子留空

名称训练显存训练时长推理速度
DP3(dp3.yaml)~10G~3 小时(A40)—
Simple DP3(simple_dp3.yaml)—1~2 小时25 FPS

✓ 官方资料写明支持,— 资料没写,版本号照原文。没写不等于不支持。

常见报错

解法来自官方文档、维护者回复或提问者确认,部分报错出自旧版本。

error in gym setup command: 'extras_require' must be a dictionary whose values are strings or lists of strings containing valid project/version requirement specifiers.

原因pip 24 下安装 third_party/gym-0.21.0 会失败

解决除了降 setuptools,再把 pip 降到 21

pip install pip==21
来源:ERROR_CATCH.md
has invalid metadata: Expected end or semicolon (after version specifier)

原因gym 的 setup.py 里 opencv-python 版本没写完整

解决打开 third_party/gym-0.21.0/setup.py 第 20 行,在 opencv-python>=3. 末尾补 0

来源:ERROR_CATCH.md
ImportError: cannot import name 'cached_download' from 'huggingface_hub'

原因只有 huggingface_hub 0.26 以下才有 cached_download

解决把 huggingface_hub 降到 0.25.2

pip install huggingface_hub==0.25.2
来源:ERROR_CATCH.md
fatal error: GL/glew.h: No such file or directory

解决编译 mujoco-py 缺头文件,安装 libglew-dev

sudo apt-get install libglew-dev
来源:ERROR_CATCH.md
RuntimeError: Fail to initialize OpenGL

解决在终端里取消 LD_PRELOAD

unset LD_PRELOAD
来源:ERROR_CATCH.md
RuntimeError: Not compiled with GPU support.

解决确认有 NVIDIA GPU,然后在当前 conda 环境里重装 pytorch3d

来源:Issue #33

适配机器人

  • Franka
  • Allegro Hand
  • Fourier GR1

获取方式

相关概念

数据来源

本页信息均整理自以下公开资料。

10 条来源核验于 2026-10-01

星标、下载量等指标定期自动更新。

3D Diffusion Policy:安装步骤、环境要求与常见报错 | 具身集