VLA 模型开源
RDT
清华大学中国
GitHub 仓库 thu-ml/RoboticsDiffusionTransformer
又称 RDT-1B、RDT-170M、RDT2、RDT2-VQ、RDT2-FM、Robotics Diffusion Transformer
- 类别
- VLA 模型
- 开放程度
- 开源
- 发布时间
- 2024 年 10 月
- 开源协议
- RDT-1B 代码 MIT,RDT2 代码 Apache-2.0
- 发布方所在地
- 中国
项目简介
RDT 是清华大学 TSAIL 团队的机器人扩散基础模型系列。RDT-1B 是面向双臂操作的扩散 Transformer,根据语言指令和最多三路图像预测未来 64 步动作,统一动作空间可适配多种本体,附 ManiSkill 评测和 AgileX 真机部署示例。续作 RDT2 用改进的 UMI 设备采集人类操作数据,包含基于 Qwen2.5-VL-7B 的 RDT2-VQ 和流匹配动作专家 RDT2-FM,可零样本部署到新本体。
- 规模
- RDT-1B 为 1B 参数,在 100 万条以上多机器人轨迹上预训练,另有 RDT-170M;RDT2 使用 100 多个场景、1 万小时以上的 UMI 人类操作数据
适配机器人
- ALOHA
- AgileX
- Bimanual UR5e
- Bimanual Franka Research 3
获取方式
- GitHubthu-ml/RoboticsDiffusionTransformer
- HF 模型robotics-diffusion-transformer/rdt-1b
- HF 模型robotics-diffusion-transformer/rdt-170m
- HF 模型robotics-diffusion-transformer/RDT2-VQ
- HF 模型robotics-diffusion-transformer/RDT2-FM
- HF 模型robotics-diffusion-transformer/RVQActionTokenizer
- HF 数据集robotics-diffusion-transformer/rdt-ft-data
- 论文arxiv.org
- 项目主页rdt-robotics.github.io