- 类别
- VLA 模型
- 开放程度
- 开源
- 发布时间
- 2024 年 6 月
- 开源协议
- 代码 MIT,权重受 Llama 2 Community License 约束
- 发布方所在地
- 美国
项目简介
斯坦福大学等发布的开源视觉-语言-动作模型,输入单张相机图像和语言指令,以离散 token 形式输出 7 自由度末端动作。模型基于 Prismatic VLM(DINOv2 与 SigLIP 视觉编码器加 Llama 2),在 Open X-Embodiment 的机器人轨迹上训练,可直接控制 WidowX 等机器人,也支持 LoRA 和全参数微调适配新机器人。仓库提供 Transformers 推理接口、REST 部署脚本、LIBERO 仿真评测和从头训练代码。
- 规模
- 7B 参数,在 Open X-Embodiment 的 97 万条轨迹上训练
OpenVLA 安装要点
来源:README.md依据官方资料的 main 版本整理,核验于 2026-11-06。版本更新后命令可能变化,以官方文档为准。
创建 conda 环境
只做推理时只装 requirements-min.txt 即可
conda create -n openvla python=3.10 -y conda activate openvla安装 PyTorch
示例命令,按本机环境到 PyTorch 官网换
conda install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvidia -y克隆并安装仓库
git clone https://github.com/openvla/openvla.git cd openvla pip install -e .安装 Flash Attention 2
训练用;失败时先跑 pip cache remove flash_attn
pip install packaging ninja ninja --version; echo $? pip install "flash-attn==2.5.5" --no-build-isolation
环境要求
来源:README.md- Python
- 3.10,向下兼容到 3.8
- PyTorch
- 2.2.*
- 固定版本
- torch 2.2.0、torchvision 0.17.0、transformers 4.40.1、tokenizers 0.19.1、timm 0.9.10、flash-attn 2.5.5
- LoRA 微调显存
- 示例用单张 A100 80 GB,batch 16 约 72 GB;调小 batch 最低约 27 GB
- 全量微调
- 官方举例一整节点 8 张 A100
- 8-bit 推理显存来源:verify_openvla.py
- 约 9–10 GB(verify_openvla.py 的注释)
- 4-bit 推理显存来源:verify_openvla.py
- 约 6–7 GB(verify_openvla.py 的注释)
适配矩阵
来源:README.md官方权重可用的流程,全量微调要用 Prismatic 格式的权重
| 名称 | 推理 | LoRA 微调 | 全量微调 |
|---|---|---|---|
| openvla-7b | ✓ | ✓ | — |
| openvla-7b-prismatic | — | — | ✓ |
| openvla-7b-finetuned-libero-spatialLIBERO 评测用 | ✓ | — | — |
| openvla-7b-finetuned-libero-objectLIBERO 评测用 | ✓ | — | — |
| openvla-7b-finetuned-libero-goalLIBERO 评测用 | ✓ | — | — |
| openvla-7b-finetuned-libero-10LIBERO 评测用 | ✓ | — | — |
✓ 官方资料写明支持,— 资料没写。没写不等于不支持。
常见报错
解法来自官方文档、维护者回复或提问者确认,部分报错出自旧版本。
FileNotFoundError: Failed to construct dataset "fractal20220817_data"解决把 tensorflow-datasets 降到 4.9.3
来源:README.mdpip install tensorflow-datasets==4.9.3AttributeError: 'DLataset' object has no attribute 'traj_map'解决把 dlimp 升到最新,可能要强制重装
来源:README.mdpip install --no-deps --force-reinstall git+https://github.com/moojink/dlimp_openvlatensorflow_datasets.core.registered.DatasetNotFoundError: Dataset bridge_orig not found.解决检查代码里设置的数据集路径和根路径
来源:Issue #255ModuleNotFoundError: No module named 'libero'解决把 LIBERO 目录加入 PYTHONPATH,路径换成自己的
来源:Issue #308export PYTHONPATH=$PYTHONPATH:/root/openvla/LIBEROModuleNotFoundError: No module named 'robosuite.macros_private'解决注释掉 robosuite/macros.py 里导入 macros_private 的部分
来源:Issue #140
适配机器人
- WidowX
- Google Robot
- Franka Panda