- 类别
- VLA 模型
- 开放程度
- 开源
- 发布时间
- 2025 年 2 月
- 开源协议
- MIT
- 发布方所在地
- 美国
项目简介
斯坦福大学提出的 VLA 优化微调方案,在 OpenVLA 基础上改用并行解码、动作分块、连续动作表示和 L1 回归目标,提高推理速度,并支持多视角图像与本体状态输入;用于 ALOHA 双臂任务时另加 FiLM 加强语言跟随(OFT+)。仓库提供 LIBERO 仿真和真实 ALOHA 机器人的微调与评测代码,以及在 LIBERO 上微调的检查点。
- 规模
- 基于 7B 参数的 OpenVLA
OpenVLA-OFT 安装要点
来源:SETUP.md依据官方资料的 main 版本整理,核验于 2026-11-06。版本更新后命令可能变化,以官方文档为准。
创建 conda 环境
conda create -n openvla-oft python=3.10 -y conda activate openvla-oft安装 PyTorch
官方让按本机环境到 PyTorch 官网取命令
pip3 install torch torchvision torchaudio克隆并安装仓库
git clone https://github.com/moojink/openvla-oft.git cd openvla-oft pip install -e .安装 Flash Attention 2
训练用;失败时先跑 pip cache remove flash_attn
pip install packaging ninja ninja --version; echo $? pip install "flash-attn==2.5.5" --no-build-isolation安装 LIBERO来源:LIBERO.md
在 openvla-oft 根目录执行,见 LIBERO.md
git clone https://github.com/Lifelong-Robot-Learning/LIBERO.git pip install -e LIBERO pip install -r experiments/robot/libero/libero_requirements.txt跑 LIBERO 评测来源:LIBERO.md
权重会自动下载
python experiments/robot/libero/run_libero_eval.py \ --pretrained_checkpoint moojink/openvla-7b-oft-finetuned-libero-spatial \ --task_suite_name libero_spatial
环境要求
来源:README.md- 推理显存(LIBERO)
- 1 块 GPU,约 16 GB
- 推理显存(ALOHA)
- 1 块 GPU,约 18 GB
- 训练显存
- 1–8 块 GPU,每块 27–80 GB(默认 bfloat16)
- 论文训练配置来源:openvla-oft.github.io
- 8 张 A100 或 H100 80 GB,1–2 天(项目主页 FAQ)
- Python来源:SETUP.md
- 3.10
- PyTorch来源:pyproject.toml
- 2.2.0
- transformers来源:pyproject.toml
- 用作者的 fork,支持并行解码所需的双向注意力
适配矩阵
来源:openvla-oft.github.io官方给的各配置显存(bfloat16);最低对应 batch 1,建议对应每卡 batch 8 或 4
| 名称 | 训练最低 | 训练建议 | 推理 |
|---|---|---|---|
| LIBERO,1 路图像 | 25.6 GB | 44.1 GB | 15.9 GB |
| LIBERO,2 路图像 + 本体状态 | 25.7 GB | 62.5 GB | 16.2 GB |
| ALOHA,3 路图像 + 本体状态 | 38.6 GB | 73.5 GB | 18.0 GB |
常见报错
解法来自官方文档、维护者回复或提问者确认,部分报错出自旧版本。
tensorflow.python.framework.errors_impl.DataLossError: corrupted record at 0 (Is this even a TFRecord file?)原因大文件没拉下来,TFRecord 文件异常地小
解决用 git lfs clone 重新下载数据集
来源:Issue #3git lfs clone git@hf.co:datasets/openvla/modified_libero_rldstorch.cuda.OutOfMemoryError: CUDA out of memory.解决把 --merge_lora_during_training 设为 False,再用 merge_lora_weights_and_save.py 离线合并
来源:Issue #28ERROR: LIBERO is not a valid editable requirement.解决先克隆 LIBERO 仓库,紧接着在同一目录跑 pip install -e LIBERO
来源:Issue #23git clone https://github.com/Lifelong-Robot-Learning/LIBERO.git pip install -e LIBERO
适配机器人
- ALOHA