VLA 模型开源
Video Prediction Policy
星动纪元、清华大学、UC Berkeley、上海人工智能实验室中国
GitHub 仓库 roboterax/video-prediction-policy
又称 VPP
- 类别
- VLA 模型
- 开放程度
- 开源
- 发布时间
- 2024 年 12 月
- 开源协议
- MIT
- 发布方所在地
- 中国
项目简介
清华大学与星动纪元等提出的通用机器人策略。先把通用视频扩散模型 Stable Video Diffusion 在人类和机器人操作视频上微调成文本引导的视频预测模型,再取其内部对未来画面的预测表征,训练扩散 Transformer 作为隐式逆动力学模型输出动作。开源视频模型和动作模型的训练代码、CALVIN 复现权重,以及在星动纪元 x-bot 机器人和 x-hand 灵巧手上训练、部署的脚本。
- 规模
- 视频预测模型由 Stable Video Diffusion 微调,权重约 8 GB;CALVIN 动作模型权重约 1 GB
适配机器人
- RobotEra x-bot
- RobotEra x-hand
