
01Perception
感知
像眼睛、耳朵和身体的感觉
把周围的环境和自己身体的状态,变成计算机能处理的数据。
机器人有两类感觉:一类看外面,靠相机、深度相机、激光雷达和麦克风;一类感觉自己,靠关节里的角度编码器、惯性测量单元(IMU),以及脚底和指尖的力与触觉传感器。
这一层只负责把信号变成数据,不负责理解。画面里哪个是杯子、要不要去拿,是下一层的事。
- 收到
- 光线、声音、接触,以及身体自己的运动
- 交出
- 彩色图像、深度、点云,关节角度、身体姿态、接触力
- 多快
- 深度相机每秒 30–90 帧(RealSense D400);关节角度等身体状态随底层控制一起更新
- 跑在哪
- 传感器和它们的处理芯片,数据汇总到计算模块
- 怎么来的
- 传感器本身不用学;画面里有什么,要靠后面几层的模型去认








