VLA 模型开源
HPT
Massachusetts Institute of Technology、Meta FAIR美国
GitHub 仓库 liruiw/HPT
又称 Heterogeneous Pre-trained Transformers
- 类别
- VLA 模型
- 开放程度
- 开源
- 发布时间
- 2024 年 9 月
- 开源协议
- MIT
- 发布方所在地
- 美国
项目简介
MIT 与 Meta FAIR 提出的异构预训练 Transformer 策略。为不同机器人本体配置各自的「茎」网络,把本体感知和视觉输入对齐到共享的 token 空间,中间共用一个可扩展的 Transformer 主干,再接各自的动作头,在多种机器人数据集的混合上监督预训练主干。下游加载预训练主干,在 MetaWorld 等仿真环境或真机数据上微调即可。提供 5 个规模的权重和训练代码。
- 规模
- HPT-Small 3.1M、Base 12.6M、Large 50.5M、XLarge 226.8M 参数,另有带语言输入的 Base 版 50.6M