摘要
机器人技术和自主系统的最新进展拓宽了机器人在实验室环境中的应用范围，包括自动化合成、可扩展反应流程以及自动驾驶实验室（SDLs）中的协作任务。本文提出了一种移动机械臂的综合开发方案，该机械臂旨在为此类自主实验室环境中的操作人员提供协助。基于 Denavit-Hartenberg（DH）准则对机械臂进行运动学建模，并确定逆运动学解，以实现精准且自适应的操作能力。本研究的核心重点是增强机械臂可靠抓取带纹理物体的能力，这是自主操作任务的关键组成部分。通过实施先进的视觉算法，实现实时目标检测和位姿估计，指导机械臂完成动态抓取和跟踪任务。在本研究中，我们集成了一种视觉方法，该方法将基于特征的检测与单应性驱动的位姿估计相结合，利用深度信息将物体位姿表示为三维空间中的二维平面投影。这种自适应能力使系统能够适应物体朝向的变化，并支持在多种环境中进行稳健的自主操作。通过实现自主实验和人机协作，本研究为下一代化学实验室的可扩展性和可重复性做出了贡献。
关键词：自动驾驶化学实验室；移动机械臂；运动学建模；基于视觉的目标检测
1 引言
自主机器人系统正在重塑研究工作流程，通过在实验室环境中实现可扩展、高效且安全的操作 。在这一变革中，安装在移动平台上的机械臂已成为能够执行样品运输、设备操作和自主实验等任务的动态主体。这些能力的核心在于可靠的目标跟踪和抓取，尤其是在处理易碎或危险材料时。为了精准执行这些任务，基于视觉的目标检测和位姿估计已成为机器人技术中的核心工具，能够实现实时感知和自适应运动规划。利用颜色和深度信息，自动驾驶实验室中的机器人可以与各类物体进行交互，动态适应物体形状、纹理和环境条件的变化。
尽管近期的创新扩大了自主系统的应用范围，但在非结构化实验室环境中实现稳健抓取仍然面临挑战。光照变化、遮挡和杂乱环境等因素增加了目标识别和操作的复杂性。克服这些挑战需要一个协同框架，将机械建模、控制稳定性和感知精度相结合。在本研究中，我们提出了一种综合系统，该系统将机械臂的运动学模型与实时感知相结合，以提高自动驾驶化学实验室中的抓取可靠性。所开发的移动机械臂能够跟踪和抓取带纹理物体，支持自主工作流程并最大限度地减少人为干预。本文的主要贡献如下：
完整系统集成：开发了适用于自主化学实验室的移动机械臂运动学分析框架，通过协调控制和感知模块，实现与自动驾驶实验室基础设施的无缝集成。
尽管已取得显著进展，但在真实实验室环境中，由于物体形状、纹理和外观的变异性，目标识别和位姿恢复仍然具有挑战性。遮挡、杂乱场景、光照不一致和背景干扰等因素进一步加剧了这些挑战，均会降低识别算法的可靠性。为解决这些问题，我们改进了一种视觉流水线 ，该流水线将基于特征的检测与单应性驱动的位姿估计相结合，并通过深度传感进行增强。这种方法能够实现物体在三维空间中的稳健二维平面投影，使移动机械臂能够适应动态朝向和环境条件。通过在精度和计算效率之间取得平衡，该系统支持实时操作任务，这对于自动驾驶实验室中的自主实验和人机协作至关重要。
在本研究中，我们将所提出的方法集成到自动驾驶实验室装置中。在该装置中，自主机器人系统在无人工干预的情况下持续运行，利用实时目标检测和位姿估计技术。自动驾驶实验室为验证机器人抓取任务的适应性和精度提供了动态环境，确保机器人能够在各种条件下高效导航、识别和操作物体。通过在这一自动化环境中利用 RGB 和深度数据，我们增强了机器人的感知和交互能力，以跟踪带纹理物体并实现可靠抓取。
2 背景
如表 1 所示，目标检测在过去二十年中取得了显著发展，从手工设计特征的方法过渡到深度学习驱动的架构。早期方法严重依赖滑动窗口技术和特征描述符。Viola-Jones检测器是基础方法之一，它使用类 Haar 特征和 AdaBoost 分类器进行实时人脸检测。尽管该方法效率较高，但其适用性仅限于刚性物体和受限环境。Dalal 和 Triggs提出的方向梯度直方图（HOG）标志着动态目标检测的重大进步。HOG 特征与支持向量机（SVM）相结合，在检测不同姿态和光照条件下的动态物体方面表现出稳健性能。然而，这些传统方法在处理尺度变化和复杂背景时存在困难。
随着深度学习的出现，目标检测领域发生了范式转变。Girshick 等人提出了 R-CNN（基于卷积神经网络的区域），该方法将区域提议与基于 CNN 的分类相结合。尽管 R-CNN 准确率较高，但由于其多阶段流水线，计算成本高昂。为解决这一问题，Fast R-CNN和Faster R-CNN进行了架构改进，引入了区域提议网络（RPN），显著提高了速度和效率。单阶段检测器的出现进一步提升了实时性能。Redmon 等人于 2016 年提出了 YOLO（You Only Look Once），该方法将目标检测重新定义为回归问题。YOLO 的统一架构实现了实时检测，但早期版本存在定位误差问题。YOLOv2、YOLOv3 和 YOLOv4 等后续版本提高了准确率和稳健性，而 YOLOv5 和 YOLOv7 则整合了先进的骨干网络和数据增强策略。同时，Liu 等人提出了 SSD（单次多框检测器），该检测器使用多尺度特征图检测不同尺寸的物体。RetinaNet利用焦点损失（Focal Loss）解决类别不平衡问题，在 COCO 等具有挑战性的数据集上实现了高准确率。
基于 Transformer 的模型近年来受到广泛关注。Carion 等人提出了一种名为 “DETR” 的新型端到端检测框架，该框架使用 Transformer 进行目标定位和分类。尽管该方法简化了流水线，但其收敛时间仍令人担忧。Deformable DETR 和 DINO 等后续模型对架构进行了优化，以实现更快的训练速度和更优的性能。尽管取得了这些进展，仍存在一些挑战。小目标检测、遮挡处理和领域自适应仍是活跃的研究领域。研究人员正在探索上下文感知模型和零样本检测框架，以解决这些局限性。此外，在边缘设备上的实时部署需要YOLOv10等轻量级模型，这些模型在准确率和延迟之间进行了优化。
尺度不变特征变换（SIFT）是一种稳健的计算机视觉技术，用于检测和描述图像中的局部特征。通过提取对尺度、旋转和部分仿射变换具有不变性的关键点，SIFT 能够实现可靠的目标识别，在动态或杂乱环境中非常有效。利用基于描述符的索引方法在图像之间匹配这些特征，能够实现目标的精确定位和识别。Vaithiyanathan等人提出了一种实时目标识别系统，该系统利用基于 SIFT 的局部图像特征，这些特征对旋转、缩放、平移和部分光照变化具有鲁棒性。通过尺度空间中的相位滤波提取关键点，并通过最近邻搜索进行匹配，以确定目标是否存在。基于描述符计数阈值的识别结果显示在微控制器驱动的输出单元上。
目标位姿估计是指在给定坐标系（通常是三维空间）中确定物体位置和朝向的过程。它在机器人技术、增强现实和计算机视觉应用中起着关键作用，这些应用中空间理解至关重要。位姿估计算法通常依赖关键点、轮廓或深度数据等视觉线索来推断物体的六个自由度（沿 x、y、z 轴的平移及其旋转）。这些技术包括经典方法（如透视 - n - 点（PnP）和模板匹配）以及基于深度学习的方法，这些方法直接从图像特征回归位姿。准确的位姿估计能够实现抓取、导航和在动态环境中与物体交互等任务。目标位姿估计是智能机器人感知的核心，使机器能够以空间感知的方式理解和与环境交互。通过准确确定物体的位置和朝向，机器人能够精准、可靠地执行抓取、操作、导航和装配等任务。在仓库、家庭或手术环境等动态或非结构化场景中，实时决策依赖于空间上下文，因此这种能力尤为关键。位姿估计还促进了视觉系统和控制系统之间的无缝集成，使机器人能够适应不断变化的条件、避免碰撞并执行复杂的运动。最终，它将原始传感数据转换为可操作的智能，架起了自主系统中感知与行动之间的桥梁。
Wang 等人提出了 DenseFusion，这是一种基于 RGB-D 图像的实时 6D 目标位姿估计框架。该方法引入了一种异构架构，分别处理 RGB 和深度数据，然后利用密集像素级特征嵌入网络将它们融合，以估计目标位姿。通过集成端到端迭代优化模块，DenseFusion 显著提高了在杂乱场景中的位姿准确率，并在基准数据集和真实世界机器人操作任务中表现出优异性能。Xiang 等人提出了 PoseCNN，这是一种基于 RGB 图像的 6D 目标位姿估计卷积神经网络。该方法通过定位目标中心和预测深度来估计三维平移，同时通过四元数表示回归三维旋转，并使用一种新颖的损失函数处理对称物体。PoseCNN 在遮挡情况下表现出较强的稳健性，并在 OccludedLINEMOD 数据集上取得了最先进的结果，这得益于用于基准测试的大规模 YCB-Video 数据集的引入。
目标检测和位姿估计的快速发展不仅彻底改变了视觉感知系统，还显著增强了机器人平台（尤其是移动机械臂）的能力。这些系统依赖稳健的实时目标检测，在动态和非结构化环境中感知、定位并与周围环境交互。将多功能机械臂与移动底座相结合的移动机械臂已成为工业自动化、物流和医疗保健等多个领域不可或缺的一部分。这些集成平台将移动性与灵巧操作相结合，能够在动态环境中执行复杂任务。它们在化学实验室中新兴的作用带来了独特的挑战和机遇，特别是考虑到化学物质的敏感性和通常具有的危险性。转移易碎玻璃器皿、分配试剂或与实验室设备交互等任务需要极高的精度和可靠性。
尽管人们对实验室工作流程自动化的兴趣日益浓厚，但在化学和制药环境中部署移动机械臂和固定底座机械臂仍面临一些持续的挑战，包括精确操作、基础设施变异性以及危险条件下的安全性。近期研究已开始通过有针对性的创新来解决这些差距。Angelopoulos 等人通过开发一种移动操作框架，解决了高精度样品注射的挑战，该框架将基于深度学习的注射器定位与视觉伺服相结合，在气相色谱仪交互中实现了毫米级精度。尽管该研究对导航和抓取不确定性具有稳健性，但也承认在不同实验室设置中泛化的局限性，并指出未来将在多模态传感和更广泛的任务自动化方面开展工作。
Fizet 等人和JAG Robotics通过部署配备视觉系统和温控存储的移动机械臂，解决了实验室间和实验室内运输的物流效率低下问题。他们的工作提高了可追溯性和操作吞吐量，但也强调了在异构实验室基础设施中集成机器人的难度，强调了对标准化接口和协调车队管理的需求。在危险环境中，强调了特定任务的末端执行器工具（EOAT）的重要性，并指出了在能够处理各种化学容器和环境约束的自适应控制系统方面存在的差距。CRL Solutions 通过用于远程小瓶处理的遥控机械臂，为放射性药物生产的安全性做出了贡献，但也指出了自动化可扩展性以及与现代机器人平台集成方面的局限性。
PS Lift 和 Dalmec NA 等工业机械臂改善了化学生产中的人体工程学物料搬运。然而，它们的静态和特定任务性质限制了适应性，这表明未来需要研究模块化设计和传感器集成系统，以实现智能自动化。Debijadi探索了使用 ROS2 和 MoveIt2 在实验室环境中进行自主导航和操作的模拟部署。尽管该研究前景良好，但也强调了在动态条件下进行真实世界验证和稳健控制的必要性。总体而言，这些研究在解决化学实验室中移动机械臂的关键部署挑战方面取得了显著进展。然而，在泛化性、自适应控制和系统集成方面仍存在差距，这为未来在多模态感知、标准化协议和混合自主框架方面提供了机遇。
表 1 目标检测方法对比
方法
|
关键特征
|
优势
|
局限性
|
Viola-Jones |
类 Haar 特征、AdaBoost 分类器
|
对刚性物体（如人脸）实现实时检测
|
仅限于受限环境，泛化性差
|
HOG + SVM |
基于梯度的描述符
|
对人体检测稳健，抗光照变化
|
难以处理尺度变化和杂乱场景
|
R-CNN |
区域提议 + CNN 分类
|
准确率高
|
速度慢，多阶段流水线
|
Fast/Faster R-CNN |
共享 CNN 骨干网络、区域提议网络
|
速度更快，准确率高
|
计算量仍然较大
|
YOLO（v1-v7） |
单阶段回归
|
实时检测，流水线简单
|
早期版本存在定位误差
|
SSD |
多尺度特征图
|
适用于不同尺寸的物体
|
准确率低于两阶段模型
|
RetinaNet |
焦点损失
|
准确率高，能处理类别不平衡
|
延迟高于 YOLO
|
DETR / 基于 Transformer |
端到端 Transformer 检测
|
简化流水线，准确率高
|
训练时间长，资源消耗大
|
YOLOv10 |
轻量级，针对边缘设备优化
|
平衡速度和准确率
|
仍在发展中，基准测试有限
|
3 方法论
我们进行了运动学建模和工作空间分析，以确定可行的交互区域。利用运动学方程获得的逆运动学解，计算关节配置，使系统能够跟踪物体轨迹，精确到达物体位姿，从而实现可靠的抓取和操作。我们采用平面位姿估计算法跟踪带纹理物体，随后利用确定的位姿信息进行轨迹规划。该过程首先从特征提取和模板匹配开始，确保可靠识别物体的关键特征。接着进行单应性估计和透视变换，以实现精确的空间映射和对齐。随后，估计物体表面的方向向量，以便进行精确的朝向分析。最后，利用深度数据进行平面位姿估计，实现可靠的抓取和交互。
目标检测方法首先使用 SIFT 从平面物体的图像中提取独特特征，并将其与相机捕获的图像中检测到的特征进行匹配。这些特征（如边缘、角点、斑点和脊线）是描述图像内容的关键模式。特征提取后，通过评估提取的特征与目标物体相关参考图像的特征之间的对应关系，确定物体是否存在。为了降低计算成本，我们采用了 K-d 最近邻搜索的 FLANN 实现，优化了高维特征的匹配。我们使用从最近邻搜索获得的匹配结果作为输入来估计单应性。然而，其中一些匹配可能不正确，导致错误的对应关系，从而影响单应性估计的准确性。为解决这一问题，我们采用了RANSAC，该算法通过仅选择内点匹配来稳健地估计单应性。与传统方法不同，传统方法在尝试消除异常值之前先处理大型数据集，通常需要大量计算资源且存在模型失真的风险，而 RANSAC 采用了更高效的策略。它从随机选择的最小观测子集开始，通过评估额外数据点的一致性，迭代优化模型参数。通过这种随机采样和共识构建机制，RANSAC 能够在过程早期有效分离异常值，即使在存在噪声或模糊数据的情况下，也能实现准确的单应性估计。这种优化既提高了速度，又提高了准确性，使其非常适合实时应用。在本研究中，利用透视变换近似测试图像模板中的对应点，从而推导物体表面的基向量。随后，结合深度信息计算平面物体的表面法向量，进而准确估计其三维位姿。
图1 本研究采用的方法
本研究中执行的不同任务流程如图 1 所示。机器人操作过程始于运动学建模，包括求解逆运动学和进行工作空间分析，以确定机器人末端执行器的可行配置。这一基础阶段确保机械臂能够到达并与操作范围内的物体进行交互。之后，通过特征提取和匹配技术执行目标检测，使系统能够识别和定位环境中的目标物体。检测到物体后，采用位姿估计确定物体的精确位置和朝向，为操作提供关键的空间信息。最后阶段涉及自适应抓取，机器人动态调整其抓取策略，消除奇异区域，确保与物体的稳定交互。这一连续框架有助于在复杂多变的环境中实现可靠且灵活的自主操作。
3.1 移动机械臂描述
本研究采用结构化方法设计、实现和评估集成在自动驾驶化学实验室中的移动机械臂机器人。开发过程始于设计一种移动机器人系统，该系统能够在动态实验室环境中自主导航和执行拾取 - 放置操作，如图 2 所示。实验环境包括移动机械臂、固定底座机械臂、电解质混合系统和电化学质谱仪（ECMS）单元。移动机械臂系统基于 Clearpath Robotics 的 Ridgeback 全向平台构建，配备了 Universal Robots UR5e 协作机械臂和 Robotiq Hand-E 自适应夹爪，如图 3 所示。Ridgeback 底座具有全向运动能力和高有效载荷容量，能够在杂乱的实验室空间中进行精确灵活的移动。安装在平台上的 UR5e 机械臂具有 6 个自由度（DOF）、高定位精度和集成的力 - 扭矩传感功能，适用于精细操作任务。
图二 实验室装置
在末端执行器处，Robotiq Hand-E 夹爪提供了多功能抓取能力，能够容纳从小型小瓶到大型容器的各种实验室物体。这种集成配置使移动机械臂能够自主在工作站之间移动、执行物体操作、管理化学样品以及执行设备校准和维护等任务。为支持智能操作，该系统配备了两个激光雷达传感器和三个 Intel RealSense 相机，提供丰富的空间和视觉数据。采用机器人操作系统（ROS）和 MoveIt 等软件框架，以实现实时定位、运动规划和避障。这些组件共同构成了一个稳健且自适应的平台，用于自主实验和实验室自动化。
图三 移动操作臂
3.2 移动机械臂的运动学建模
移动机械臂的运动学建模涉及通过数学公式系统地表示其运动能力，与动态力无关。该过程整合了移动底座和机械臂的运动链，以确定末端执行器相对于全局参考系的位置和朝向。该模型包括正运动学和逆运动学，以及雅可比矩阵的推导，以将关节速度与末端执行器运动相关联。这种建模对于在复杂环境中实现精确的运动规划、控制算法和协调任务执行至关重要。
3.2.1 移动平台的运动学建模
如图 4 所示的全向移动机器人配备了 4 个全向轮，与传统轮式机器人相比，具有更强的机动性，能够在任何方向上瞬时平移和旋转。为了准确建模其运动学，我们基于机器人力学原理定义了控制其运动的方程，考虑了车轮速度、力和扭矩。运动学模型描述了车轮速度与平台线速度 / 角速度之间的关系。每个车轮的半径为 r，距离机器人几何中心（标记为点 P）的距离为 L。这种对称配置使机器人能够实现完全的平面移动，能够独立控制平移和旋转。机器人位姿 P 定义如公式（1）所示：
其中 x、y 表示全局位置，θ 为偏航角。速度向量如公式（2）所示：
其中vx、vy为线速度，ω为角速度。车轮速度v1、v2、v3、v4与平台速度之间的关系如公式（3）所示：
其中J−1为逆雅可比矩阵，如公式（4）所示：
利用这一公式，可以根据期望的机器人速度计算车轮速度，从而实现对全向平台的有效运动控制。
3.2.2 UR5e 的运动学建模
UR5e 由 Universal Robots 公司开发，是一款 6 自由度关节型机械臂，适用于多种工业和研究应用。UR5e 具有结构紧凑、重量轻、编程界面友好等特点，还集成了先进的安全功能，能够在动态环境中进行协作操作。其架构的一个显著特点是最后 3 个关节的非共线布置，它们不构成传统的球形手腕。因此，所有六个关节都独立地影响末端执行器的平移和旋转运动，从而提高了机械臂的灵活性。然而，这种配置增加了运动学建模的复杂性，因为在具有共线手腕的机械臂中通常采用的位置和朝向解耦方法无法直接应用。UR5e 的运动学分析需要全面制定正运动学和逆运动学，通常采用 Denavit-Hartenberg 参数来系统地表示关节变换。这种建模对于准确的轨迹规划、控制以及与自主机器人系统的集成至关重要。
图五 移动机械手
图 5 展示了 UR5 的示意图以及每个关节的坐标系分配，并基于此定义了 Denavit-Hartenberg（DH）参数。DH 参数如表 2 所示。
表 2 UR5 的 DH 参数
i
|
ai (m)
|
di (m)
|
αi (rad)
|
θi
|
1
|
0
|
d1=0.08916
|
π/2
|
θ1
|
2
|
a2=−0.425
|
0
|
0
|
θ2
|
3
|
a3=−0.39225
|
0
|
0
|
θ3
|
4
|
0
|
d4=0.10915
|
π/2
|
θ4
|
5
|
0
|
d5=0.09456
|
−π/2
|
θ5
|
6
|
0
|
d6=0.0823
|
0
|
θ6
|
变换矩阵 T 如公式（5）所示：
其中旋转矩阵Re如公式（6）所示：
利用基于 DH 参数的变换矩阵，末端执行器位置Pe（Px、Py、Pz）计算如下：
其中，θ234=θ2+θ3+θ4。为求解逆运动学，我们需要找到关节配置向量q=[θ1,θ2,...,θ6]T，使机器人达到期望位姿。求解过程首先利用关节 5 的位置坐标分离出θ1，如公式（10）所示。
求解公式（10）后，我们得到：
通过比较相关变换轴的方向向量，可以类似地计算θ5和θ6。剩余的关节角θ2、θ3和θ4通过平面 3-RRR 机构解确定。计算出θ1后，我们将期望的末端执行器位置转换到关节 2 的坐标系中。设rs表示从关节 2 到手腕中心的距离。该值可以通过应用几何关系确定，如下所示：
利用余弦定理，我们可以确定θ3，如下所示：
我们可以基于θ3推导出θ2，如下所示：
最后，θ4的值基于公式（12）获得：
从变换矩阵的旋转部分，我们可以计算出θ5，如下所示：
手腕朝向给出θ6，如下所示：
基于公式（7）-（9）绘制了 UR5e 机械臂的工作空间，如图 6 所示。该机械臂的工作空间约为2.27m3，由其 850 mm 的工作范围以及关节限制和末端执行器配置确定。
4 基于视觉的抓取框架
该视觉算法 [4] 通过将视觉感知与自适应抓取规划相结合，实现了稳健的物体操作。该框架包括以下两个主要组件：
目标检测和平面位姿估计
自适应抓取规划估计
4.1 目标检测和位姿估计
准确的位姿估计对于可靠的机器人操作至关重要。所提出的方法包括四个连续阶段：
特征提取和描述符匹配
单应性计算和透视变换
通过方向向量估计物体坐标系
利用深度信息优化位姿
图 6 UR5e 机械臂的可达工作空间。3D 图展示了末端执行器位置的分布，颜色表示归一化的可达性值，突出显示了机械臂的有效操作体积。
利用尺度不变特征变换（SIFT）特征检测算法识别平面物体，该算法从图像中提取独特的关键点和描述符，以促进准确的识别和匹配。这些算法提取关键点并生成编码局部图像结构的描述符。使用 FLANN（用于浮点描述符）或汉明距离（用于二进制描述符）进行匹配，建立输入图像与参考模板之间的对应关系。利用匹配的关键点计算单应性矩阵 H，以建模平面变换，如下所示：
变换后的坐标（x′、y′）推导如下：
应用 RANSAC 过滤异常值，确保稳健的单应性估计。为定义物体的局部坐标系，选择三个参考点，如下所示：
其中，w 和 h 分别表示物体的宽度和高度。利用来自 RealSense 相机的对齐 RGB-D 数据将这些点投影到三维空间，得到向量：
正交基（i、j、k）定义了物体在空间中的朝向。旋转矩阵 R 由方向向量构成：
欧拉角计算如下：
这些角度表示物体相对于参考系的朝向，用于抓取规划。通过计算物体位姿和夹爪位姿之间的变换来实现抓取。抓取变换Tg记录如下：
其中，To为物体位姿，Tb为夹爪位姿。在推理过程中，利用更新后的物体位姿To′调整抓取位姿，如下所示：
最终抓取角度从Tg′的旋转矩阵中提取，如下所示：
其中rij表示相应的旋转矩阵元素。这种方法能够在多变的环境中动态、精确地抓取平面物体。为进一步提高操作过程中的稳健性，我们改进了检测算法，以实时持续更新目标物体的估计位姿。这种迭代位姿优化在整个抓取过程中持续进行，利用持续的视觉反馈，直到物体不再被相机看到。由于末端执行器上安装的相机受到遮挡或位置限制，通常会导致物体不可见。通过在视觉跟踪不再可行之前保持位姿更新，该系统能够更好地适应环境变化和物体位移，从而提高了在实际约束下抓取执行的可靠性。
5 结果与讨论
进行了仿真研究和实验验证，以评估该视觉算法检测带纹理封面的有效性。视觉算法的输入用于控制移动机械臂的运动。
5.1 仿真研究
所提出的目标识别和位姿估计算法在机器人操作系统（ROS）环境中实现，集成了 OpenCV，运行在 Ubuntu 20.04 平台上，采用 3.0 GHz Intel Core i7-7400 CPU 和 16GB 系统内存。我们利用 RViz 和 Gazebo 开发了一个仿真环境，其中包含一个移动机械臂和一本带纹理封面的书，如图 7 所示。图 7（a）-（b）展示了 RViz 和 Gazebo 环境。
图 7 移动机械臂的仿真环境。(a) RViz 可视化显示物体检测和相机视角。(b) Gazebo 环境展示用于抓取实验的机器人设置。
安装在机械臂末端执行器上的 RealSense 相机用于持续检测带纹理的书封面的位姿。确定位姿后，RRT * 运动规划算法利用该信息，以抓取姿态跟踪和跟随书本的运动。尽管轨迹规划是基于使用 ROS 软件包预先确定的末端执行器抓取朝向进行的，但这些朝向是通过利用机械臂运动学模型进行工作空间分析精心确定的，以确保避免奇异配置。
除跟踪外，我们还进行了补充研究，重点关注书本的主动抓取。在这些实验场景中，系统不仅跟随书本的运动，还在物体达到稳定位姿后成功执行抓取动作。这些抓取试验（20 次）证明了该框架能够从位姿估计和运动规划过渡到物理交互，验证了其在跟踪和操作任务中的稳健性。这一过程在 ROS MoveIt 框架内执行，确保了平滑、自适应的路径优化，以实现精确的物体跟踪和操作。视觉算法的输出如图 8（a）和（b）所示，
图 8 视觉算法输出（a）边界框 （b）物体姿态
其中图 8（a）展示了检测到的物体边界框，图 8（b）展示了估计的物体位姿。这些视觉结果证明了该算法能够准确地定位和确定场景中目标的朝向，为后续的操作和规划任务提供了必要的输入。图 9（a）-（f）展示了机械臂响应书本位姿变化的运动截图。这些帧捕捉了机械臂调整其配置以接近目标物体时的自适应运动规划和执行过程。安装在固定移动平台上的机械臂根据视觉系统提供的更新位姿估计，动态调整其关节和末端执行器的位置。每个帧中可见的彩色坐标轴表示书本的估计位姿，突显了系统在接近过程中跟踪和对齐物体的能力。这一视觉证据强调了集成感知和规划框架在实现精确、响应迅速的物体交互方面的有效性。
图 9 机械臂拾取一本书的动作（a)-(c)正视图(d)-(f)俯视图
除了跟踪书本的位姿外，我们还进行了实验，重点关注在定位物体后执行抓取动作。图 10（a）-（d）展示了机械臂执行抓取任务的连续运动。收到视觉系统的位姿估计后，机械臂规划并执行轨迹，以接近并牢固抓取书本。与跟踪场景不同，这一系列动作展示了从感知到物理交互的完整操作周期，机器人从位姿估计过渡到稳定抓取。
图 10 抓取任务期间操纵器的连续动作。（a）-（d）在视觉系统的位姿估计引导下，机械臂靠近带纹理的书封面、与之对齐并牢固抓取。
5.2 实验验证
图 11 展示了用于验证机器人系统物体交互能力的实验装置。该配置包括一个安装在移动底座上的机械臂，位于带纹理的书封面前方。该装置复制了仿真中建模的条件，允许直接比较机械臂的预测行为和观察行为。书封面作为位姿估计和跟踪的视觉丰富目标，使系统能够在受控环境中测试其感知和运动规划模块。机械臂的初始姿态证实了其已准备好执行物体跟随和抓取任务。
图 11 带有书封面的实验装置
图 12 展示了机械臂在一系列空间配置中跟随带纹理物体的能力。四个子图（a-c）展示了随着书封面沿桌面移动，机械臂动态调整其位置的过程。这一系列动作展示了实时视觉反馈和运动控制的集成，使机械臂能够保持与物体的对齐。跟踪行为与仿真结果一致，证实了位姿估计算法的稳健性和机械臂的运动学响应能力。这些观察结果验证了系统在动态场景中持续监测物体的能力。图 13 展示了机械臂执行抓取动作，最终成功抓住书封面的过程。在子图（a）-（d）中，机器人从跟踪姿态过渡到抓取准备配置，最终固定物体。这一系列动作强调了抓取规划模块的有效性，该模块利用位姿数据和轨迹优化实现稳定接触。抓取动作证实，机械臂不仅能够跟随物体，还能与物体进行物理交互，这是自主操作任务的关键能力。仿真抓取策略与实验结果的一致性增强了系统控制架构的可靠性。总体而言，图 11-13 展示了仿真机器人行为成功转化为实际执行的过程。机械臂检测、跟随和抓取带纹理物体的能力验证了在仿真过程中开发的集成感知和规划框架。
图 13 机械手抓取书本
为了记录定量数据，我们在不同环境条件下，将带纹理的书封面放置在相机视场中的不同位置，进行了大量试验。通过基准标记获得真实位姿，所有估计位姿都在同一坐标系中表示，以便直接比较。跟踪准确率达到 98.4%，表明在由于末端执行器限制导致视觉遮挡之前，能够可靠地更新位姿。抓取成功率记录为 96.7%，表明即使在部分遮挡和位姿漂移的情况下，仍具有稳健的操作能力。位姿估计误差保持在 ±0.53 cm 以内，反映了适用于细粒度抓取任务的高空间精度。检测流水线的平均延迟为每帧 71 ms，能够以 68 FPS 的速度实现实时响应。检测精度和召回率分别为 98.1% 和 97.5%，证实了系统在不同光照和背景杂乱情况下识别和定位目标物体的有效性。这些结果验证了该系统适用于半结构化环境中的动态操作任务，在不同物体类型和相机视角下具有较强的泛化能力。这些实验结果强调了该系统在自动化分拣、辅助机器人和移动操作等实际应用中的潜力。
表 3 目标跟踪和抓取的性能指标
指标
|
数值
|
描述
|
跟踪准确率
|
98.4%
|
在由于末端执行器限制导致遮挡之前，正确位姿估计（±0.60 cm）的帧百分比。
|
抓取成功率
|
96.7%
|
在不同物体配置和环境中，成功抓取次数与总抓取尝试次数的比率。
|
位姿估计误差
|
±0.53 cm
|
估计物体位姿与真实物体位姿之间的平均空间偏差。
|
检测延迟
|
71 ms
|
每帧目标检测和位姿更新的平均时间，支持实时响应。
|
检测精度
|
98.1%
|
所有检测中正确识别物体的比例。
|
检测召回率
|
97.5%
|
成功检测到的实际物体比例。
|
运行时性能
|
∼68 FPS
|
实时跟踪和抓取过程中的平均处理速度。
|
6 结论
本研究首先基于 Denavit-Hartenberg（DH）准则对机械臂进行运动学建模，然后确定其逆运动学，以确保精确和自适应的操作能力。本文提出了一种综合框架，使移动机械臂能够在自动驾驶实验室环境中执行自主目标跟踪和抓取。通过将平面位姿估计与 RGB 和深度数据相结合，该系统展示了稳健的感知能力，利用特征匹配和单应性估计准确地定位带纹理的平面物体。视觉算法与自适应抓取规划相结合，使机械臂能够在仿真和真实环境中动态跟随和与物体交互。本研究实现了一个框架，使移动机械臂能够通过平面位姿估计跟踪物体，利用 RGB 图像和深度数据。使用 FLANN 的 K-d 树最近邻实现和暴力汉明算法进行特征匹配，使用 RANSAC 进行单应性估计，以确保稳健的变换。由此产生的单应性矩阵通过透视变换促进了物体表面上三个正交方向向量的近似，这些向量随后用于估计平面位姿。
实验验证证实，机械臂能够可靠地跟踪移动物体，并在确定位姿后执行稳定的抓取动作。这些结果强调了集成感知、运动学建模和运动规划流水线在实现精确、响应迅速的操作方面的有效性。仿真和物理试验之间的一致性进一步突显了建模环境的真实性和机器人平台对动态条件的适应性。除物体跟踪外，该系统成功过渡到物理交互，展示了其自主抓取物体的能力。未来的工作将重点关注扩展系统的抓取能力，以包括非平面、透明和可变形物体，增强不确定性下的实时决策，并集成多模态传感以提高环境感知能力。这些进展旨在进一步优化自主实验，并强化智能机器人在下一代化学实验室中的作用。尽管现有方法解决了若干挑战，但实现有效处理动态环境变化的通用解决方案仍然是一个开放的研究问题。我们未来的工作将重点关注物体抓取，并在自动驾驶实验室中扩展实时实验，进一步优化机器人与自适应抓取机制的集成，以提高自主性和效率。
Airking Robots
北京艾科伯特科技有限公司，是专注协作机器人和移动机器人的技术公司，Airking Robots——艾科伯特立足于航空/航天，专注于机器人智能制造方向，Airking Robots是优傲机器人，Robotiq等协作机器人方向中国区域金牌提供商
商务联系：
更多案例请关注公众号：