Sim2Real

Sim-to-Real Transfer

Sim2Real 指把在仿真里训练的机器人策略迁移到真机,靠域随机化、系统辨识等方法缩小仿真和现实的差距,足式行走和灵巧操作都在用。

又称 Sim-to-Real、仿真到现实迁移、虚实迁移

一条机械臂从中间分开,左半边是网格上的青色线框,右半边是实体

Sim2Real 是什么

Sim2Real(sim-to-real transfer)指在仿真里训练机器人策略,再迁移到真机。真机采数据慢且贵,还有安全风险。深度强化学习要几百万个样本,直接在实物上训练行不通。

难点叫现实差距(reality gap),指仿真和真实系统在动力学和感知上的差异。例如 OpenAI 的灵巧手仿真直接给关节加力矩,真手靠腱绳驱动。仿真按刚体算接触,实物的接触是可变形的。

缩小差距有两条路。一是把仿真做准,也叫系统辨识。二是接受仿真不准,让策略扛得住变化,做法包括随机化动力学、给观测加噪声、施加随机扰动。用得最广的是域随机化(domain randomization)。

九宫格里是同一条机械臂和方块,每格的桌面纹理、光线和方块颜色都不同
域随机化:同一个场景换成各种随机外观。Tobin 等人只用随机纹理的仿真图像训练物体检测器,再用它做抓取。

在机器人里做什么

四足机器人走在岩石和苔藓上,身后的地面渐变成青色线框地形
ETH 2020 年的 ANYmal 控制器只在仿真里训练,零样本(不再用真机数据调整)走进自然环境。
  • 四足:把执行器学出来

    ETH 给 ANYmal 训练了一个执行器网络,在真机上用自监督学习得到,放进仿真模拟 12 个关节。这个混合仿真约比实时快千倍,训练出的策略再迁移到真机。

  • 四足:特权教师带学生

    ETH 2020 年的 ANYmal 控制器分两步训练。教师策略能看到地形真值,学生策略只用真机上有的传感器。控制器只在仿真里训练,零样本(不再用真机数据调整)走进自然环境。

  • 人形:几千个随机环境

    Agility Robotics 的 Digit 身高约 1.6 米,重 45 公斤。2023 年的一项研究让控制器在几千个随机化仿真环境里训练,用 4 张 A100 GPU 并行,再零样本部署到真实世界。

  • 灵巧手:转物块和解魔方

    OpenAI 在仿真里随机化摩擦系数和物体外观,训练 Shadow 灵巧手做手内转物。2019 年提出自动域随机化(ADR),让环境分布的难度不断上升,用人形机械手解魔方。

  • 机械臂:视觉抓取和推物

    Tobin 等人只用随机纹理的仿真图像训练物体检测器,用它在杂乱场景里做抓取。Peng 等人随机化仿真动力学,机械臂推物策略没在实物上训练就能部署到真机。

关键数字

  • 1.5cmTobin 等人 2017 年:只用仿真数据训练的真实世界物体检测器精度来源:arxiv.org
  • 100年OpenAI 2018 年:在完全随机化的仿真里学会转物所需的模拟经验,约合 50 小时实际时间来源:arxiv.org
  • 约 1.3 万年OpenAI 2019 年:解魔方策略累计用掉的模拟经验来源:arxiv.org
  • 约 1000倍实时ETH 给 ANYmal 搭的混合仿真速度(刚体仿真加执行器网络),每秒近 50 万步来源:ar5iv.labs.arxiv.org
  • <4分钟Rudin 等人 2021 年:单张工作站 GPU 上训练 ANYmal 平地行走策略的用时,崎岖地形 20 分钟来源:arxiv.org

常见问题

Sim2Real 和域随机化是什么关系?
Sim2Real 是目标,域随机化是手段之一。它不去精确建模真实世界的每个参数,而是大幅随机化仿真,让训练分布盖住真实世界。其他方法还有域适应、模仿学习、元学习和知识蒸馏。
域随机化一般随机哪些东西?
看任务。视觉任务随机物体位置和纹理、相机位姿、灯光数量。控制任务随机物理参数,比如摩擦。Isaac Lab 的机械臂教程随机化执行器增益、关节摩擦和初始关节位置。
零样本迁移是什么意思?
策略只在仿真里训练,上真机时不再拿真机数据调整。Peng 等人的机械臂策略没有在实物上做任何训练。RMA 完全在仿真里训练,部署到 A1 四足机器人时没有微调。
为什么仿真里走得好,上真机就摔?
常见原因是模型和真机对不上。Tan 等人认为,执行器模型不准和没有模拟延迟是现实差距的两大主因。观测也是坑:仿真能直接读的量,真机传感器未必测得到,比如 IMU 测不了线速度。
做 Sim2Real 用什么工具?
常见的是 GPU 并行仿真平台。Isaac Lab 是 Isaac Gym 的继任者,集成了执行器模型、传感器仿真和域随机化工具。Humanoid-Gym 在 Isaac Gym 里训练,再放到 MuJoCo 验证,这步叫 sim-to-sim。Isaac Lab 的 G1 流程也假定先过这一步。
Sim2Real 能取代真机采数据吗?
还不能这么说。2025 年的一篇论文指出,模仿学习依赖大量采数据,成本高、难扩展。Sim2Real 强化学习是替代路线,但成功案例多在基于状态或单手的场景。视觉加双手的接触任务仍是开放问题。

来源

  1. Zhao 等:Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey(arXiv 摘要页)arxiv.org
  2. OpenAI:Learning Dexterous In-Hand Manipulation(arXiv 2018)arxiv.org
  3. Hwangbo 等(ETH):Learning Agile and Dynamic Motor Skills for Legged Robots(ar5iv 全文)ar5iv.labs.arxiv.org
  4. Zhao 等:Sim-to-Real Transfer in Deep Reinforcement Learning for Robotics: a Survey(ar5iv 全文)ar5iv.labs.arxiv.org
  5. Lee 等(ETH):Learning Quadrupedal Locomotion over Challenging Terrain(ar5iv 全文)ar5iv.labs.arxiv.org
  6. Radosavovic 等:Real-World Humanoid Locomotion with Reinforcement Learning(ar5iv 全文)ar5iv.labs.arxiv.org
  7. OpenAI:Learning Dexterous In-Hand Manipulation(arXiv 摘要页)arxiv.org
  8. OpenAI:Solving Rubik's Cube with a Robot Hand(arXiv 摘要页)arxiv.org
  9. Tobin 等:Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World(ar5iv 全文)ar5iv.labs.arxiv.org
  10. Peng 等:Sim-to-Real Transfer of Robotic Control with Dynamics Randomization(arXiv 摘要页)arxiv.org
  11. NVIDIA Isaac Lab 官方文档:Training a Reach Policy for Real Robot Deploymentisaac-sim.github.io
  12. Kumar 等:RMA: Rapid Motor Adaptation for Legged Robots(arXiv 摘要页)arxiv.org
  13. Tan 等(Google):Sim-to-Real: Learning Agile Locomotion For Quadruped Robots(ar5iv 全文)ar5iv.labs.arxiv.org
  14. NVIDIA Isaac Lab 官方文档:Sim-to-Real Policy Transferisaac-sim.github.io
  15. NVIDIA:Isaac Lab: A GPU-Accelerated Simulation Framework for Multi-Modal Robot Learning(arXiv 摘要页)arxiv.org
  16. Gu 等:Humanoid-Gym(arXiv 摘要页)arxiv.org
  17. Lin 等:Sim-to-Real RL for Vision-Based Dexterous Manipulation on Humanoids(arXiv 摘要页)arxiv.org
  18. Tobin 等:Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World(arXiv 2017)arxiv.org
  19. OpenAI:Solving Rubik's Cube with a Robot Hand(arXiv 2019)arxiv.org
  20. Rudin 等:Learning to Walk in Minutes Using Massively Parallel Deep RL(arXiv 摘要页)arxiv.org

核验于 2026-11-06