【产业洞察】机器人是怎么“看见”和“听见”的？它到底是如何感知世界的

比如一句很简单的话：“把桌上的杯子拿给我。” 对人来说，这几乎不需要思考。对机器人来说，它要先听懂指令，再看见杯子在哪里，判断杯子的距离、姿态和抓取点，最后规划机械臂和手指怎么动。机器人感知世界，不是装几个摄像头、几个麦克风就够了。它要把图像、声音、距离、位置、姿态、接触和力度这些信息，变成自己可以理解、可以判断、可以执行的动作。

本文目录

• 机器人不是“看到画面”就算看见了
• RGB 图像：能看到颜色，但不知道距离 
• 深度图：让机器人知道“东西到底在哪” 
• 识别杯子，不等于会抓杯子 
• 机器人“听见”一句话，也不是直接听懂 
• 为什么机器人在真实场景里容易翻车？
• 机器人不只靠眼睛和耳朵，还需要“全身感知”
• 感知真正难的，不是单个传感器，而是整套系统 
• 为什么大模型很强了，机器人还是很难？ 
• 机器人最终缺的，其实是常识
• 机器人不是缺眼睛，而是缺一个真正理解世界的大脑

一、机器人不是“看到画面”就算看见了

很多人一听机器人视觉，第一反应就是摄像头。摄像头当然重要，但摄像头拍到画面，并不等于机器人理解了画面。对人来说，桌上放着一个杯子，几乎一眼就知道它能不能拿、该从哪里拿、动作要不要轻一点。对机器人来说，画面最开始只是像素。

所以，机器人视觉不是“拍一张照片”，而是把像素翻译成有用信息：哪里是杯子，哪里是桌面，目标在空间中的位置和姿态是什么，最后这些结果能不能转成动作指令。

上图是机器人从“看到杯子”到“准备抓取”的基本链路：采集图像，处理图像，识别目标，估计位置和姿态，再把结果交给控制系统。中间任何一步出错，后面的动作都会受影响。识别错了会拿错，位置偏了会抓空，姿态估计不准，手爪就可能从错误角度靠近。

这就是为什么机器人经常会出现一种看起来很“笨”的情况： 它不是没看见，而是没真正看懂。

二、RGB 图像：能看到颜色，但不知道距离

RGB图像就是普通彩色图像，手机照片、监控画面、电脑摄像头画面大多都属于这一类。它能告诉机器人颜色、轮廓、纹理和形状，帮助模型判断画面里有没有杯子、桌子、人或其他物体。

但RGB图像本质上是二维的。它能回答“这是什么”，却很难单独回答“它离我多远”。机器人要伸手拿杯子，必须知道杯子在三维空间里的位置。只有颜色和形状还不够。

左边的RGB图像提供颜色和外形，右边的深度图提供距离关系。两类信息结合起来，机器人才能从“看见一个物体”，走向“知道这个物体在空间里的位置”。

三、深度图：让机器人知道“东西到底在哪”

深度图关心的不是画面好不好看，而是每个点离摄像头有多远。RGB图像告诉机器人杯子长什么样，深度图告诉机器人杯子离自己多远。两者结合，机器人才知道杯子在空间中的位置。

这一步非常关键。机器人不是在屏幕上点一下目标，而是真的要让机械臂伸过去。它要知道杯子中心在哪里、桌面高度是多少、手爪从哪里过去不会撞到桌子、闭合手指时会不会夹空。更准确地说，机器人拿杯子的过程是：看见目标，重建空间，估计姿态，规划路径，执行抓取。

四、识别杯子，不等于会抓杯子

这是很多人最容易误解的地方。识别杯子，只是回答“这是什么”。抓杯子，还要回答从哪里抓、用多大力、手爪从哪个方向靠近、会不会碰到旁边物体、抬起来后会不会滑。

人类做这些判断，靠的是生活经验和身体经验。机器人没有这种天然经验，只能依靠视觉、深度、运动规划、抓取算法和力控系统，把动作一点点算出来、学出来。

上图展示的是典型的手眼协同抓取流程：先识别目标，再估计杯子的位置和朝向，然后规划机械臂轨迹，最后执行抓取。看起来只是“伸手拿杯子”，背后其实是一串判断。

只要其中一步不稳定，问题就会出现：看见了却抓空，碰到了却没抓稳，抓起来又滑落，或者旁边多一个物体就容易撞上去。难点不在于机器人知不知道“杯子”这个词，而在于它能不能把“杯子”变成一个稳定的物理动作。

五、机器人“听见”一句话，也不是直接听懂

除了看见，机器人还要听见。现在很多机器人支持语音交互，但麦克风收到声音，不等于机器人听懂了指令。听觉系统同样要经历一整套流程。

上图可以拆成四步：声音采集、语音识别、语义理解、指令输出。麦克风阵列先接收声音并判断方向，系统再把声音转成文字。真正难的是第三步：机器人要知道“杯子”是目标，“拿”是动作，“给我”说明最后要递给说话的人。

最后，系统还要把这句话转成动作链条：找到杯子，走到桌边，伸出机械臂，抓起杯子，再移动到用户附近。人类说话常常很省略，比如“把那个拿过来”。人可以靠眼神、手势和场景猜到意思，机器人不一定能猜对。

所以，机器人听懂人话，不只是语音识别准确率的问题。 真正难的是： 把一句模糊的人类语言，变成一串明确、安全、可执行的动作。

六、为什么机器人在真实场景里容易翻车？

很多机器人在发布会上表现很好。拿杯子、搬箱子、走路线，看起来都很顺。但一进入真实家庭、仓库或门店，难度立刻上来。原因很简单：真实世界不会配合机器人。 光线会变，人会走动，物体会遮挡，桌面会反光，声音也会很吵。

图中这些情况很典型：位置估计偏了会抓空，目标识别错了会抓错，物体被挡住会影响判断，目标或机器人一动，画面还可能变模糊。再加上背景噪声，机器人听错一个词，动作也可能完全跑偏。

这些问题经常不是单独出现，而是叠加出现。一个普通客厅里，可能同时有光线变化、桌面反光、物体遮挡和多人说话。对人来说只是普通环境，对机器人来说就是一道综合大题。

七、机器人不只靠眼睛和耳朵，还需要“全身感知”

到了真实场景，机器人只靠摄像头和麦克风就不够了。它还要知道离障碍物多远，身体有没有倾斜，手有没有碰到杯子，抓得轻重如何，脚下是否站稳。这些信息来自一整套传感器：相机和麦克风负责外部信息，雷达和超声波补充距离与空间结构，IMU、关节编码器、力/力矩传感器、触觉传感器和足底压力传感器负责自身状态和接触反馈。

人类拿杯子时，眼睛看位置，手会感觉接触和滑动，身体也知道自己的手在哪里。机器人也需要类似链路：看见目标，知道自己的身体在哪里，接触之后还能及时调整。雷达不是替代视觉，而是补视觉的短板；IMU也不是单独决策的大脑，它要和视觉、关节传感器等信息一起使用。

所以，这里的重点不是传感器越多越好，而是让它们共同服务一个动作。 机器人要知道目标在哪里，自己的手在哪里，有没有碰到目标，动作是否需要调整。 只有这样，它才可能从“看到目标”，走向“稳定完成动作”。

这张图把视觉、听觉、雷达、IMU、关节编码器、触觉/力觉和足底压力放在一起。重点不是某个硬件最重要，而是这些信息要合在一起，变成动作依据。

八、感知真正难的，不是单个传感器，而是整套系统

机器人感知不是一个摄像头的问题，也不是一个麦克风的问题。它是一整套系统：视觉判断“看到了什么”，深度相机和雷达补充距离和空间结构，麦克风阵列采集声音并定位声源，IMU和关节编码器告诉机器人自己的身体状态，触觉和力觉判断有没有碰到、有没有抓稳。

这些模块单独做好还不够。真正难的是，它们必须在同一个任务里协同工作。机器人抓杯子时，视觉识别目标，深度信息估计距离，本体感知给出机械臂位置，运动规划计算路径，触觉和力觉再反馈抓取是否稳定。

如果视觉坐标和机械臂坐标没有对齐，机器人会抓偏。如果传感器时间不同步，它可能按照过时的位置去行动。如果触觉反馈进入控制系统太慢，杯子已经滑了。多传感器融合不是简单地“把数据加在一起”，而是要解决对齐、取舍、冲突和反馈的问题。

图中列出的挑战，都是感知系统在真实工程里绕不开的问题：光照变化影响图像质量，遮挡让目标不完整，延迟让感知和动作不同步，误识别导致抓错，噪声影响语音理解。机器人要进入家庭、工厂、商场和医院，难的不是做一次漂亮演示，而是在复杂环境里持续稳定工作。

九、为什么大模型很强了，机器人还是很难？

这几年AI进步很快，大模型会写文章、画图、写代码、生成视频。于是很多人会问：既然AI这么强，为什么机器人拿个杯子还这么费劲？答案并不复杂：数字世界出错，可以重来；物理世界出错，可能会出事。

一段文字写错了，可以删掉重写。机器人动作错了，可能会摔坏杯子、撞到桌子、夹到人的手。更关键的是，物理世界一直在变化。机器人不能只在动作开始前想好一次，它必须边看、边动、边判断、边修正。这就是具身智能难的地方：它不仅要“会想”，还要“会做”。

十、机器人最终缺的，其实是常识

最后还有一个更深的问题：常识。人类做很多动作，靠的不是精确计算，而是长期形成的经验。玻璃杯容易碎，热水不能乱碰，刀要拿刀柄，小孩旁边动作要慢，装满水的杯子移动时要稳一点。这些听起来很简单，但机器人并不天然知道。

如果机器人只识别出“这是杯子”，但不知道里面可能有水，它就可能动作太猛。如果它只知道“前面有个人”，但不知道人会突然移动，它就可能离得太近。下一代机器人需要的，不只是更好的摄像头和麦克风，而是更强的世界理解能力。只有具备这些理解，机器人才能从“会执行命令”，走向“能独立干活”。

十一、机器人不是缺眼睛，而是缺一个真正理解世界的大脑

回到开头的问题：机器人到底是怎么“看见”和“听见”的？答案不是简单地装摄像头和麦克风。摄像头、麦克风、深度相机、雷达、触觉传感器，都只是入口。真正重要的是，机器人能不能把这些信息组合起来，变成对世界的理解。

它要知道自己看见了什么，目标在哪里，该怎么伸手，动作有没有出错，失败后怎么调整。所以，机器人感知的本质，不是“看见图像”，也不是“听见声音”，而是把外部世界翻译成机器人可以理解、可以判断、可以执行的动作。

最后用一句话总结：机器人不是看不见，而是看不懂；不是听不到，而是不知道该怎么做。 更准确地说，它缺的不是某一个传感器，而是一套能够把视觉、听觉、雷达、触觉、力觉和身体状态融合起来的世界模型。只有当机器人既理解外部环境，也理解自己的身体状态，它才可能从“能演示动作”，走向“能稳定干活”。

参考资料

1. Bruno Siciliano, Oussama Khatib (eds.). Springer Handbook of Robotics. Springer, 2016. https://link.springer.com/book/10.1007/978-3-319-32552-1
2. Kevin M. Lynch, Frank C. Park. Modern Robotics: Mechanics, Planning, and Control. Cambridge University Press, 2017. https://modernrobotics.northwestern.edu/
3. Sven Behnke. "Perception for Humanoid Robots." Current Robotics Reports, 2023. https://link.springer.com/article/10.1007/s43154-023-00107-x
4. Peter Henry, Michael Krainin, Evan Herbst, Xiaofeng Ren, Dieter Fox. "RGB-D Mapping: Using Kinect-Style Depth Cameras for Dense 3D Modeling of Indoor Environments." The International Journal of Robotics Research, 2012. https://doi.org/10.1177/0278364911434148
5. Jungong Han, Ling Shao, Dong Xu, Jamie Shotton. "Enhanced Computer Vision with Microsoft Kinect Sensor: A Review." IEEE Transactions on Cybernetics, 2013. https://www.microsoft.com/en-us/research/publication/enhanced-computer-vision-with-microsoft-kinect-sensor-a-review/
6. Yu Liu, Shuting Wang, Yuanlong Xie, Tifan Xiong, Mingyuan Wu. "A Review of Sensing Technologies for Indoor Autonomous Mobile Robots." Sensors, 2024. https://www.mdpi.com/1424-8220/24/4/1222
7. João Machado Santos, David Portugal, Rui P. Rocha. "A review of LiDAR simultaneous localization and mapping techniques for multi-robot systems." Robotica, 2021. https://www.cambridge.org/core/journals/robotica/article/review-of-lidar-simultaneous-localization-and-mapping-techniques-for-multirobot/4F66EFD9B1E153198D60057E12CDCA12
8. Xiaobin Xu, Lei Zhang, Jian Yang, Chenfei Cao, Wen Wang, Yingying Ran, Zhiying Tan, Minzhou Luo. "A Review of Multi-Sensor Fusion SLAM Systems Based on 3D LiDAR." Remote Sensing, 2022. https://www.mdpi.com/2072-4292/14/12/2835
9. Emanuele Bastianelli, Giuseppe Castellucci, Danilo Croce, Roberto Basili, Daniele Nardi. "Structured Learning for Spoken Language Understanding in Human-Robot Interaction." The International Journal of Robotics Research, 2017. https://doi.org/10.1177/0278364917691112