【从零走向AGI】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。

项目地址🔗：https://ai-mzq.github.io/From-Zero-to-AGI/^[1]

欢迎关注【魔方AI空间】👇

AIGC技术交流社区（涵盖AI绘画、AI视频、大模型、AI多模态、数字人、具身智能等AIGC干货资源及教程）

上一篇我们介绍了机器人 Sim2Real，分析了仿真策略进入真实环境后为什么容易失效。触觉问题发生在更具体的一步：机器人已经看见并碰到了物体，为什么仍然抓不稳？

往期推荐：

• 一文讲透2026年具身智能技术栈：VLM、VLA、VLN、世界模型
• 一文梳理 RT-2 到 π0.7：通用机器人策略的技术演进
• 一文通俗讲解具身智能 7 个核心概念：VLM、VLN、VA、VLA、WM、WAM、VLX
• 一文通俗理解机器人数据 8 个核心概念：遥操作、示范学习、动作块、仿真、合成数据、Sim-to-Real、数据飞轮、失败回放
• 一文详解具身智能：从大模型到世界模型

• 一文讲透人形机器人 8 个关键能力：感知、抓取、全身控制、平衡、VLA、世界模型、数据、仿真

• 一文梳理具身智能必读 6 篇综述：从 VLA、VLN 到世界模型

• 一文梳理具身智能开发工具地图：模型、数据集、仿真器与评测基准

• 一文拆解 NVIDIA GR00T：人形机器人基础模型背后的数据、仿真与部署工具链

• 一文讲清机器人 Sim2Real：为什么仿真里学会，真机上还是会翻车？

本文聚焦机器人触觉，沿着“触觉传感—状态判断—动作修正”这条技术线，讲清机器人如何感知接触位置、受力、滑移与形变，以及这些信息怎样参与抓取、插接和灵巧操作。

桌上的杯子已经被相机准确定位。

机械臂移动到杯子两侧，夹爪闭合，杯子被平稳抬离桌面。几厘米后，它却开始从夹爪之间下滑，最后掉了下来。

这次失败很难从抓取前的画面里预判。杯壁是否湿滑、两侧受力是否均匀、接触面是否已经产生切向位移，都要等夹爪真正碰到杯子后才会逐渐显现。

触觉传感器会记录接触面积、压力分布、切向形变和微振动等变化。机器人可以据此识别早期滑移，在杯子明显下落前调整握力或夹爪姿态。

01 从看见物体到读懂接触

抓取开始前，视觉可以识别杯子、估计它的位置和姿态，并帮助机械臂规划接近路径。这些信息解决了“目标在哪里”和“怎样靠近”的问题。

夹爪碰到杯壁后，机器人面对的是一组随接触不断变化的状态。

一个外形相近的杯子，可能是空的，也可能装满水；表面可能干燥，也可能带有水渍。薄塑料杯还会随着夹持力变化产生明显形变。仅凭接触前的图像，机器人很难预先确定一组始终合适的握力参数。

稳定抓取取决于法向夹持力、切向载荷与接触摩擦的共同作用。机器人至少还要判断：

其中一部分状态可以由视觉间接推测，但接触区域经常被夹爪遮挡。更重要的是，接触力、摩擦和局部形变来自正在发生的物理交互：即使画面中的抓取姿态相同，不同载荷、材料和表面摩擦也可能对应完全不同的稳定性。

因此，完成视觉定位并不等于抓取已经稳定。到了接触阶段，机器人还需要利用触觉判断受力是否合适、物体是否滑动，以及动作是否需要修正。如图 1 所示，视觉与触觉提供的是两类不同但互补的信息。

图 1：视觉主要提供物体类别、位置、姿态和环境信息；触觉补充接触位置、压力、剪切、滑移与形变。

触觉还具有明显的时序性。按压、滑动和提起物体，会持续改变压力分布、剪切形变与振动信号。机器人关注的不只是某一时刻的测量值，还要看这些信号怎样随动作变化；一旦出现早期滑移迹象，控制器就需要及时调整握力或姿态。

02 触觉、力觉和本体感觉，分别在感知什么？

机器人论文中经常同时出现 tactile、force/torque、proprioception 和 haptics。它们都与身体和受力有关，测量的对象和空间范围却不同。

表 1：机器人接触与身体状态相关的四类概念。

以机械臂拧瓶盖为例，腕部六维力/力矩传感器可以测得整个末端受到的力和扭矩，却不一定知道是哪根手指开始打滑。指尖触觉阵列能够保留接触位置和局部压力分布，更适合观察接触细节。

电机电流也能间接反映负载变化，但这种估计会受到传动摩擦、减速器间隙和控制器状态影响，通常无法提供细致的接触位置。

Haptics 的范围更广，除了机器人对接触的感知，还包括力反馈、振动反馈等向人传递触感的技术。本文主要讨论机器人侧的触觉感知。图 2 标出了这些信号在机械臂上的常见来源。

图 2：机械臂上的常见感知来源。外部相机观察场景与目标位姿，腕部传感器测量整体力和力矩，指尖触觉记录局部接触，关节编码器与电机电流反映机器人自身状态。

腕部力觉描述末端受到的整体力和力矩，指尖触觉保留接触面上的局部分布。 在接触丰富的操作中，两者经常配合使用。

03 五类触觉传感路线

机器人没有天然皮肤，需要先把接触造成的形变、压力或振动转换成电信号或图像。不同路线的区别，主要体现在空间分辨率、动态响应、静态测量、耐用性和标定成本上。

电阻式与压阻式

物体压在柔性材料上，会改变导电路径或材料电阻。这类传感器结构直观，容易制成大面积阵列，长期使用时则要处理迟滞、漂移和单元一致性问题。

电容式

接触改变极板间距、有效面积或介电特性，电容值随之变化。它对细微压力较敏感，也适合制作柔性电子皮肤，但感应点增多后，布线、寄生电容和噪声抑制会更加复杂。

压电式

某些材料受力时会产生电荷，适合捕捉冲击、振动和快速变化的接触信号。物体刚开始滑动时，接触面往往会出现微振动，压电传感器可以较快响应；其局限是对长期保持的静态压力不够敏感。

磁式

磁式触觉传感器通常在柔性表面中放置磁体，并在底部测量磁场。表面受到压力或剪切后，磁体位置改变，系统再反推三维受力。

AnySkin^[2] 在磁式感知之上，进一步把容易磨损的触觉界面与感知电子器件分离。新皮肤可以直接替换，训练好的滑移检测器和操作策略还需尽量跨传感器实例继续使用。它处理的不只是如何测量接触，还包括触觉皮肤损坏以后怎样降低更换成本。图 3 展示了它的可替换结构和跨机器人适配方式。

图 3：AnySkin 将可替换的磁式触觉皮肤与底部感知电子器件分离，可适配不同机器人，并测试已学策略换上新皮肤后的复用能力。来源：AnySkin: Plug-and-play Skin Sensing for Robotic Touch^[2]。

光学视触觉

GelSight^[3] 和 DIGIT^[4] 在柔软接触层内部放置相机和受控光源。物体压上去后，弹性体形变先改变表面图像，算法再从光影、纹理或标记点位移中估计接触几何、法向受力、剪切形变和滑移。

这里的相机观察的是接触介质，并非桌面上的外部场景。DIGIT 进一步把相机、光源和弹性体压缩进紧凑的指尖结构，让高分辨率视触觉更容易安装到机器人手上。

表 2：五类触觉传感路线的主要特点。

五条路线没有统一的强弱顺序。柔性皮肤关注覆盖面积、重量和功耗，灵巧指尖看重局部空间分辨率，工业夹爪还要考虑耐磨、维护和污染。选择传感器时，真正要匹配的是任务需要的信息和响应速度。

04 从触觉信号到动作修正

一张触觉图像或一组压力数值，并不会自动变成抓取能力。A Review of Tactile Information: Perception and Action Through Touch^[5] 将触觉信息从原始测量逐步整理到接触、物体和动作层级。

在机器人操作中，这些信息会依次经过四个阶段：

原始信号
电阻、电容、磁场、触觉图像、振动
        ↓
接触状态
接触位置、法向力、剪切力、粘着或滑移
        ↓
物体与任务状态
几何、纹理、软硬、抓取稳定性、插接偏差
        ↓
动作修正
调整握力、位姿、速度或重新抓取

传统方法通常依靠传感器标定和人工特征。例如，根据视触觉图像中标记点的位移估计剪切力，根据高频振动判断滑移，再通过阈值触发控制器。

学习方法会使用 CNN、Transformer 或时序编码器，从触觉图像与连续信号中提取特征，预测力值、材质和滑移概率。这些估计结果可以进入传统的力控制、阻抗控制，也可以作为学习策略的观测输入。

DIGIT 论文中的一个示例进一步展示了这条路径。图 4 中，触觉图像先被编码成低维状态，模型再预测动作条件下的未来触觉状态，最后计算不同候选动作的代价并选择动作。

图 4：DIGIT 论文展示的触觉学习示例。上方通过自编码器定位触觉图像中的目标，下方在压缩状态上预测动作后果，并用于模型预测控制。来源：DIGIT: A Novel Design for a Low-Cost Compact High-Resolution Tactile Sensor^[4]。

单帧触觉数据描述“现在压成什么样”，连续信号更适合判断“接触正在怎样变化”。

拧瓶盖时，机器人要持续观察切向力和接触图案，才能区分瓶盖正在旋转，还是手指在原地打滑。抬起杯子时，剪切形变和微振动也可能早于肉眼可见的下落出现。

图 5：触觉信号经标定或编码得到接触状态，控制器或机器人策略据此修正动作；新的物理接触继续产生反馈，形成持续更新的控制回路。

抓杯子时，指尖确认接触后，夹爪会从快速接近切换为慢速闭合或力控制。抬起过程中，系统持续监测剪切形变与早期滑移，再决定增加握力、降低速度还是调整夹爪姿态。

Tactile Dexterity: Manipulation Primitives with Tactile Feedback^[6] 将操作计划拆成一组力学关系较清楚的操作原语，再把触觉控制分成两层：一层管理末端与物体之间的接触状态，包括接触、稳定粘着和滑移；另一层根据触觉跟踪物体状态，并在状态偏离时更新机器人与物体轨迹。图 6 中的拉动、旋转和推动，就是这种操作原语的具体形式。

图 6：Tactile Dexterity 将复杂操作拆成拉动、旋转和推动等操作原语，利用触觉反馈维持接触状态，并把物体从初始位姿移动到目标位姿。来源：Tactile Dexterity: Manipulation Primitives with Tactile Feedback^[6]。

这类触觉伺服关注接触误差能否持续减小。插头碰到孔口右侧时，机器人沿接触反馈调整方向；手指沿物体边缘探索时，则需要保持接触，同时避免压力过大。

离线准确率只能说明部分能力。用于控制时，还要检查滑移和接触异常的检测延迟、动作修正后的恢复率，以及传感器磨损或更换物体后的稳定性。

05 视觉与触觉：从接近目标到接触修正

视觉和触觉观察的是同一项任务的不同阶段。

精密插接很能体现这种配合。相机可以把插头移动到孔附近，但孔位可能被机械手遮挡，位姿估计也难免存在细小偏差。插头碰到孔边后，接触方向和受力变化能够暴露偏差，机器人再微调姿态，直到插头与孔对齐。

Analysing the Interplay of Vision and Touch for Dexterous Insertion Tasks^[7] 研究了两种模态在灵巧插接中的作用：视觉提供全局几何和接近信息，触觉在小公差、遮挡和接触丰富的阶段补充局部反馈。图 7 将这两个阶段分开展示。

图 7：视觉先把插头引导到孔位附近，触觉再根据接触方向和受力变化进行小步修正，直到完成对齐与插入。

两种信号可以在输入、特征或决策层融合，也可以按操作阶段分别使用。视觉通常提供较低频、较全局的场景信息，触觉更关注高频、局部的接触变化，因此还要处理时间同步、采样频率和传感延迟的差异。任务只需要在抓取后检测滑移时，独立触觉模块就可能足够；灵巧手执行长时间手内操作时，视觉、触觉、本体状态和动作历史才更需要联合建模。

融合方式的选择取决于数据量、推理时延和任务复杂度，模态更多并不天然等于操作更稳。

06 触觉学习：从单任务模型到通用表征

过去的触觉模型大多围绕某一种传感器和某一项任务训练：一套模型判断滑移，另一套模型识别材质，换一款传感器后还可能重新采集数据。

近年的研究开始从自监督预训练、多模态指尖和触觉仿真三个方向扩大触觉模型的适用范围。

Sparsh：先学习可复用的触觉表示

Sparsh^[8] 的思路是先从大量无标签视触觉数据中学习通用表征，再用较少的标注数据适配具体任务。它对背景处理后的短时触觉图像序列进行分块编码，分别用 MAE、DINO、DINOv2 和 I-JEPA 等自监督方法训练触觉编码器，整体架构见图 8。

图 8：Sparsh 汇集多个视触觉数据集，并比较 MAE、DINO/DINOv2 与 I-JEPA/V-JEPA 三类自监督训练路线，用于学习可迁移的触觉编码器。来源：Sparsh: Self-supervised touch representations for vision-based tactile sensing^[8]。

预训练编码器输出的特征再接入不同任务头，用于法向力与剪切力场估计、滑移检测、材料识别和物体相对位姿估计。TacBench 则把多项触觉任务组织到同一套评测中，检查表征能否跨任务和跨传感器迁移。Sparsh 复用的是触觉编码器，并不是一套直接控制机器人的完整策略。

触觉预训练面对的设备差异，通常比视觉更复杂。表面材料、相机、照明、尺寸和信号格式都会改变输入分布，同一种物体也会因为按压力度和运动方向不同而产生完全不同的接触图像。

TacX 与 Digit 360：触觉不止是一张图

TacX^[9] 使用 Digit 360 采集的接触交互，对图像、声音、运动和压力四种模态进行自监督预训练。这些信号具有不同的时间尺度和空间结构：接触图像描述形变，振动与声音对滑动和材料更敏感，压力信号补充受力大小。如图 9 所示，多模态编码后的统一表征，可以用于物理属性判断、模仿学习，也可以帮助仿真策略适应真实触觉信号。

图 9：TacX 将 Digit 360 采集的触觉图像、音频、指尖运动与压力信号融合为统一表征，再用于插接、手内旋转和物理属性估计。论文架构图中使用了 Sparsh-X 名称。来源：Tactile Beyond Pixels: Multisensory Touch Representations for Robot Manipulation^[9]。

Digit 360^[10] 则从硬件侧把压力、振动、表面音频、温度与惯性测量等感知集中到指尖，同时保留视触觉成像通道。图 10 展示了硅胶指尖、照明与感知模块、超鱼眼镜头、图像采集和端侧处理系统的组成。更多传感通道有助于区分材质和接触状态，也会增加同步、标定、带宽和模型融合成本。

图 10：Digit 360 的多模态指尖结构。硅胶表面与内部感知、照明和成像系统共同采集静态压力、动态压力、表面音频、温度、振动、惯性与视触觉信号，并通过端侧处理系统输出。来源：Digitizing Touch with an Artificial Multimodal Fingertip^[10]。

TacSL：用仿真扩大触觉数据

真实触觉数据需要机器人反复接触物体，采集速度慢，还会磨损传感器。TacSL^[11] 在 Isaac Simulator 中构建 GPU 视触觉仿真与学习库，同时生成视触觉图像和接触力分布。其工具链包含多种传感器模型、接触密集任务和策略学习算法，还通过非对称 Actor-Critic 蒸馏让策略在训练时利用仿真中的完整状态，部署时改用真机可获得的触觉与本体观测。图 11 展示了仿真模块与策略学习工具链的关系。

图 11：TacSL 从几何接触中生成深度、RGB 触觉图像和接触力场，再结合机器人状态、触觉与视觉观测训练接触密集操作策略。来源：TacSL: A Library for Visuotactile Sensor Simulation and Learning^[11]。

触觉仿真不能只追求画面相似。软性介质怎样形变，物体与表面如何摩擦，内部光照如何变化，都会改变传感器输出。仿真可以扩大数据规模，模型能否迁移仍要依靠真实接触实验验证。

Sparsh、TacX 和 TacSL 分别处理标注不足、单一信号受限和真实数据昂贵三个问题。硬件形态、数据格式与评测任务目前尚未统一，这些方法与视觉或语言领域的通用基础模型仍有距离。

07 触觉落地：硬件、数据与实时控制

触觉论文已经展示了丰富能力，真正用于长期运行的机器人，还要过硬件、数据和控制三道关。

硬件层要处理柔性表面的磨损、污染和破损。指尖空间有限，灵巧手又需要较多感应点，安装、供电、布线和通信都会影响最终系统。

数据与模型层要面对标定和设备一致性。不同批次、安装方式和磨损程度都会改变输入分布；仿真中的形变、摩擦和成像又很难完整复现，使得仿真数据仍需要真实接触验证。

控制层关心的是端到端时延。滑移和碰撞发生得很快，从传感采样、信号处理、模型推理到控制器更新，任何一环的延迟都可能错过最佳修正时机。

图 12 概括了这三类工程约束以及它们之间的相互影响。

图 12：稳定的触觉操作同时依赖硬件可靠性、数据与模型泛化以及实时控制，任一环节的变化都可能传导到另外两部分。

传感器更换是一个典型例子。软性触觉表面换新以后，模型输入分布也可能随之变化。AnySkin 将可替换性和跨实例泛化纳入硬件设计，正是在降低长期运行中的维护与重新训练成本。

实时控制也不宜只依赖一个慢速的上层模型。接触检测、滑移预警和握力修正更适合在机器人本体侧快速运行，材质理解和任务规划则可由更慢的上层模型处理。

是否需要触觉，取决于任务本身。开放空间搬运规则刚性物体时，视觉、夹爪位置和电机电流可能已经够用；精密装配、软物体、灵巧手和高可靠抓取，更能体现局部触觉反馈的价值。

08 最后，读懂每一次接触

机器人找到物体后，接触面上的受力、滑移和形变仍然可能避开相机的视线。触觉提供的正是这部分局部物理状态。

一套触觉系统是否有效，不只看它能否识别材质或判断滑移，还要看检测结果能否在有效时间内进入控制回路，让机器人改变握力、位姿或运动速度。

机器人能否抓稳真实世界，取决于它看见物体以后，能不能读懂每一次接触带来的变化。

► 从零走向 AGI 系列

► 技术专栏： 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 |