- 类别
- VLA 模型
- 开放程度
- 仅论文
- 发布时间
- 2023 年 7 月 28 日
- 发布方所在地
- 英国
项目简介
Google DeepMind 提出的视觉-语言-动作模型。把机器人动作写成文本 token,在网络视觉语言数据和机器人轨迹上联合微调预训练视觉语言模型,让同一个模型既能回答视觉问题,也能输出机械臂末端位移和夹爪指令,并能用思维链做多步推理。有基于 PaLI-X 和 PaLM-E 的版本,机器人数据来自 RT-1。只有论文,没有放出代码和权重。
- 规模
- RT-2-PaLI-X 5B / 55B 参数,RT-2-PaLM-E 12B 参数
适配机器人
- 7DoF mobile manipulator
- Language-Table