VLA 模型开源
NaVILA
University of California San Diego、University of Southern California、NVIDIA美国
GitHub 仓库 AnjieCheng/NaVILA
- 类别
- VLA 模型
- 开放程度
- 开源
- 发布时间
- 2024 年 12 月
- 开源协议
- Apache-2.0
- 发布方所在地
- 美国
项目简介
NaVILA 是足式机器人视觉语言导航的两层框架:上层 VLA 根据视频帧和语言指令生成用自然语言表达的中层导航指令,下层实时运动控制策略执行并避障。VLA 部分基于 NVILA(SigLIP + Llama 3 8B),在 R2R、RxR、EnvDrop、ScanQA 和 YouTube 人类行走视频等数据上训练。仓库提供模型权重、训练代码、基于 VLN-CE 的评测和数据标注,Isaac Sim 评测与运动控制代码另有仓库。
- 规模
- VLA 部分为 8B 参数(SigLIP + Llama 3 8B)