触觉传感器可以赋予机器人通过接触来感知外部环境并与之交互的能力，在机器人灵巧操作、人机共融、模式识别等领域有着重要的应用。人类的皮肤不仅可以感知力的大小和方向（自解耦），并且对外界刺激的定位精度可以超越触觉感受器间的平均间距（超分辨率），因此人的双手可以完成非常精巧和复杂的任务，比如抓取易碎物品，进行灵巧操作，识别纹理，阅读盲文等。与人类皮肤相比，现有的机器人触觉传感器还存在较大差距，例如为了实现力的解耦，往往需要设计复杂的传感器结构（如刚性梁）或拟合复杂的数学模型；在实现解耦的情况下，尚无法同时实现超分辨率检测；等等，极大的限制了机器人在执行复杂任务上的能力。
图1. 磁性皮肤的结构和工作原理
来自香港城市大学生物医学工程系申亚京教授课题组与香港大学计算机系潘佳教授课题组合作，提出了一种基于磁性薄膜的触觉传感器，结合深度学习算法，实现了机器人触觉传感器的自解耦和超分辨率，为仿人类皮肤的触觉感知提供了新的思路。相关成果以“Soft magnetic skin for super-resolution tactile sensing with force self-decoupling（自解耦的超分辨率柔性磁性皮肤）”为题，于近日发表在《Science Robotics（科学：机器人）》上。
如图1所示，该触觉传感器的核心由一层经单面多级正弦磁化的磁膜和嵌入在印刷电路板上的霍尔传感器组成。磁膜和霍尔传感器之间可以填充不同厚度和弹性的硅胶，用来调节传感器的灵敏度和量程。当有外力施加于磁膜上时，霍尔传感器将测量到由磁膜变形所引起的磁场变化，进而可以测量出所施加外力的大小和方向。
“这种单面多极的正弦磁化方法在学术上被称为Halbach Array（Halbach阵列）。其一个重要特点就是可以在削弱一侧磁场的同时能够极大的加强另一侧磁场。该技术不仅在粒子加速器、磁悬浮列车、电磁炮等前沿领域有着重要的应用，在我们日常生活中使用的冰箱贴中也采用了类似技术。”申亚京提到，“我们课题组和潘佳课题组合作，尝试研发一种类人类皮肤功能的触觉传感器。因为我们课题组主要从事微型机器人研究，前期工作中在磁性薄膜方面有一些积累（Nature Communications, 9(3944), 2018;Advanced Science, 7(13), 2020; Science Robotics, 5(48), 2020），所以初步选定了磁性薄膜的解决方案。在研究过程中，闫友璨（文章第一作者，香港城市大学生物医学工程系在读博士生）发现Halbach Array除了单侧磁场增强外的另一个很特殊的性质：当把磁膜按正弦磁化后，其磁感应强度B和磁场方向RB在是x-z平面内是天然解耦的，即磁感应强度B只和z方向有关，磁场方向RB只和x方向有关（如图2所示）。这样，法向力Fz的输出只与z方向有关，切向力Fx的输出只与x方向有关（式1），为研究自解耦功能的触觉传感器提供了可能。”
（式1）
图2.磁感应强度平面和磁场方向平面（天然解耦）示意图
解耦后的磁性皮肤可以提供独立的正压力和切向力的测量（无串扰耦合），因此可以给机器人提供更精确的力反馈。视频1展示了将磁性皮肤贴在机械手上进行自适应抓取鸡蛋的应用。开始时，机械手未进行抓取，夹持力Fz和载荷引起的切向力Fx均为零，当机械手夹住鸡蛋时(t1),夹持力Fz迅速增大，直至鸡蛋被提起时(t2),由于鸡蛋的重力作用，切向力Fx迅速增大，此时施加一个外部干扰：用手往下拽鸡蛋(t3)，切向力开始逐渐增大，为了不使鸡蛋滑落，机械手自动增大夹持力，使Fx/Fz的比值始终小于滑动边界（合力保持在摩擦锥以内）。当撤去外部干扰后(t4)，机械手开始自动松开夹爪，以免鸡蛋被夹碎，从而实现了在有外部干扰时，自适应抓取（易碎）物体的安全操作。作为对比实验，当没有磁性皮肤提供的力反馈时，由于夹持力不足以克服外部干扰，鸡蛋被拽下(t8)。
动图1. 基于力反馈的自适应鸡蛋夹持
图3. 基于力反馈的自适应鸡蛋抓取
视频1. 基于力反馈进行自适应抓取鸡蛋的演示
类似地，视频2展示了如何利用磁性皮肤的力反馈进行自适应调节机械手的夹紧力，以稳定的夹持一个正在注水的水瓶。当往水瓶中不断注入液体时，切向力Fx逐渐增大，水瓶有从机械手中滑落的趋势（Fx/Fz的比值接近滑动边界），此时机械手自动增大了夹持力Fz，从而避免了水瓶的滑落，任务成功。作为对比实验，当没有磁性皮肤提供的力反馈时，水瓶在注水的过程中从手中滑落，任务失败。
图4. 基于力反馈的自适应水瓶抓取
视频2. 基于力反馈进行自适应抓取注水水瓶的演示
除了能精确的解耦外力的大小和方向，该磁性皮肤还具有触觉超分辨率，即对外界刺激的定位精度可以超越传感器的物理分辨率（两个传感单元之间的距离）。如图5所示，一个小球压在磁性皮肤（具有3x3传感单元整列）的传感单元S5上，通过定性分析霍尔传感器x,y,z方向上磁通量密度的变化，可以确定该小球与皮肤的接触位置在S5的右上角；进一步，通过神经网络的定量计算，小球的接触位置可以被精确定位到S5右上角的（X,Y）处，该定位精度(0.1mm)可以达到磁性皮肤物理分辨率(相邻传感单元的距离6mm)的60倍。
图5. 磁性皮肤的触觉超分辨率原理示意
研究团队用两个不同的场景展示了触觉超分辨在机器人领域的应用前景：在第一个展示中（视频3），研究人员利用超分辨率实时追踪了在磁性皮肤上滚动的小球的接触位置和接触力大小；在第二个展示中（图6及视频4），研究人员只使用了一个传感单元便控制了机械臂的六个运动方向（上、下、前、后、左，右），在研究人员的远程操控下，机械臂可以完成穿针的精细操作。
“深度学习在机器人领域有着越来越广泛的应用，如在我们的前期工作中，我们利用深度学习，实现了多机器人的碰撞检测与防止（International Journal of Robotics Research, 39 (7), 2020）。针对特定硬件设计协同的智能算法，能够进一步突破硬件本身的瓶颈，获得更好的效果。”潘佳讲到，“我们针对磁膜的特性设计了深度学习方法，将其超分辨率提高到了60倍，达到了与人类皮肤的超分辨率（约40倍）可比的程度。如此以来，我们可以在实现功能的同时，极大的减少机器人皮肤中的传感单元与布线，从而提高智能皮肤的易用性。这对未来把人工皮肤覆盖于机器人全身，使机器人拥有和人类一样的全身触觉感知能力至关重要。”
图6. 基于触觉超分辨率的遥控穿针
视频3. 利用触觉超分辨率实时追踪滚动小球的演示
视频4. 利用触觉超分辨率遥控机械臂进行穿针的演示
研究人员最后展望道：“具有自解耦功能的超分辨触觉感知在机器人领域有很大的应用潜力，可以赋予机器人灵巧操作日常物品的能力，提高人机交互的安全性，或许在不远的将来，覆盖有人工皮肤的家庭机器人将成为我们日常生活中不可缺少的一部分。在今后的工作中，我们希望能够开发出在更多维度上解耦的磁性皮肤，并针对不同的场景设计特定的超分辨率算法，实现硬件和软件的深度融合，从而使磁性皮肤的应用场景可以更加广泛”。
申亚京和潘佳为该工作的共同通讯作者，闫友璨为论文第一作者，合作团队其他成员来自香港城市大学、卡内基梅隆大学和南方科技大学。
该项目研究得到了NSFC优青项目（港澳地区）61922093,NSFC-深圳联合重点项目U1813211,香港UGC项目11211720 、11207818和11202119，NSFC/RGC联合研究项目N_HKU103/16以及深圳市学科布局项目JCYJ20200109114827177的共同资助。
文章链接：Y. Yan, Z. Hu, Z. Yang, W. Yuan, C. Song, J. Pan*, Y. Shen*, Soft magnetic skin for super-resolution tactile sensing with force self-decoupling. Sci. Robot. 6, eabc8801 (2021). DOI: 10.1126/scirobotics.abc8801
https://doi.org/10.1126/scirobotics.abc8801
相关进展
浙江大学张磊、童利民教授团队《ACS AMI》：用于感知组织硬度的微纳光纤触觉传感器
香港城市大学杨征保团队和哈工大胡泓团队合作《Adv. Sci.》：柔性触觉传感器阵列，实现测量多种外部刺激并实时区分
高分子科技原创文章。欢迎个人转发和分享，刊物或媒体如需转载，请联系邮箱：info@polymer.cn
诚邀投稿
欢迎专家学者提供稿件（论文、项目介绍、新技术、学术交流、单位新闻、参会信息、招聘招生等）至info@polymer.cn，并请注明详细联系信息。高分子科技®会及时推送，并同时发布在中国聚合物网上。
欢迎加入微信群 为满足高分子产学研各界同仁的要求，陆续开通了包括高分子专家学者群在内的几十个专项交流群，也包括高分子产业技术、企业家、博士、研究生、媒体期刊会展协会等群，全覆盖高分子产业或领域。目前汇聚了国内外高校科研院所及企业研发中心的上万名顶尖的专家学者、技术人员及企业家。
申请入群，请先加审核微信号PolymerChina （或长按下方二维码），并请一定注明：高分子+姓名+单位+职称（或学位）+领域（或行业），否则不予受理，资格经过审核后入相关专业群。
点
这里“阅读原文”，查看更多