- 类别
- VLA 模型
- 开放程度
- 开源
- 发布时间
- 2026 年 8 月
- 开源协议
- Apache-2.0
- 发布方所在地
- 中国
项目简介
蚂蚁灵波与香港科技大学(广州)、香港科技大学的世界-动作模型,面向零样本跨任务机器人操作。它把人类示范视频当作任务说明,根据语言指令或人类视频提示同时预测机器人未来画面和可执行动作,用于执行训练中没练过的任务,无需采集对应机器人数据或更新参数。基于 LingBot-VA 和 Next Forcing 构建,用 HumanGen 管线为机器人轨迹合成配对的人类视频,在 RoboTwin 2.0 和真机上验证,开源预训练与后训练权重及 HumanGen 数据。
- 规模
- 10.8B 参数(MoT 结构);HumanGen 含 8,600 个任务上的 7.42 万组人-机上下文配对
Zero-WAM 安装要点
来源:INSTALL.md依据官方资料的 main 版本整理,核验于 2026-11-06。版本更新后命令可能变化,以官方文档为准。
安装 PyTorch
在 Zero-WAM 仓库根目录执行
python -m pip install --upgrade pip setuptools wheel python -m pip install \ torch==2.9.0 \ torchvision==0.24.0 \ torchaudio==2.9.0 \ --index-url https://download.pytorch.org/whl/cu126安装项目依赖
python -m pip install -r requirements.txt --no-build-isolation下载权重来源:README.md
权重约 35 GB
python -m pip install "huggingface_hub[cli]" export PROJECT_ROOT=/path/to/Zero-WAM hf download robbyant-research/zero-wam-posttrain-robotwin \ --local-dir "${PROJECT_ROOT}/checkpoints/zero-wam-posttrain-robotwin"下载 Robotwin ICL 数据来源:README.md
只做 Robotwin 后训练或评测时的最小子集
hf download Robbyant-Research/HumanGen \ --repo-type dataset \ --local-dir "${PROJECT_ROOT}/data/HumanGen" \ --include "icl_configs/*" \ --include "robotwin_data/**" \ --include "human_latents/robotwin/**"安装 Robotwin
依赖和素材按 Robotwin 官方文档装
git clone https://github.com/RoboTwin-Platform/RoboTwin.git Robotwin cd Robotwin git checkout 2eeec322 export ROBOTWIN_ROOT=/path/to/your/Robotwin启动推理服务来源:README.md
另开终端用 launch_client.sh 评测
cd "${PROJECT_ROOT}" export MODEL_PATH="${PROJECT_ROOT}/checkpoints/zero-wam-posttrain-robotwin" CUDA_VISIBLE_DEVICES=0 \ bash evaluation/robotwin/launch_server.sh
环境要求
来源:INSTALL.md- 测试环境
- Python 3.10、PyTorch 2.9.0、CUDA 12.6
- LeRobot
- 0.3.3,已含在 requirements.txt
- Robotwin
- 评测要单独的 Robotwin 2.0 环境,且和服务端在同一台机器
- 推理 GPU来源:README.md
- 单任务 1 块 GPU(README),官方未写显存
- 评测和训练 GPU来源:README.md
- 完整评测和训练示例都是 8 块 GPU(README)
适配矩阵
来源:README.md官方发布的两个权重,训练都从 pretrain 权重开始,推理示例用 posttrain 权重
| 名称 | 推理 | 训练起点 | 参数量 | 大小 |
|---|---|---|---|---|
| zero-wam-pretrain | — | ✓ | 10.8B | ~35 GB |
| zero-wam-posttrain-robotwin | ✓ | — | 10.8B | ~35 GB |
✓ 官方资料写明支持,— 资料没写,版本号照原文。没写不等于不支持。
