VLA 模型开源
LAPA
University of Washington、KAIST、Microsoft Research、NVIDIA美国
GitHub 仓库 LatentActionPretraining/LAPA
又称 Latent Action Pretraining、LAPA-7B
- 类别
- VLA 模型
- 开放程度
- 开源
- 发布时间
- 2024 年 10 月
- 开源协议
- MIT
- 发布方所在地
- 美国
项目简介
从没有动作标注的视频中预训练视觉-语言-动作模型的方法。先训练隐动作量化模型,从相邻帧中学出离散隐动作;再以 Large World Model(LWM)为底座,让模型根据图像和语言指令预测隐动作完成预训练;最后用少量带真实动作的机器人轨迹微调,把隐动作映射到实际动作空间。开源在 Open X-Embodiment 上预训练的 7B 权重,以及隐动作量化、预训练、微调和 SIMPLER 评测代码。
- 规模
- 7B 参数(LWM-Chat-1M 底座),隐动作空间大小为 8^4
适配机器人
- Franka Emika Panda