基于深度学习和合成数据增强的机械臂杂乱紧固件抓取

Robot arm grasping for cluttered fasteners based on deep learning with synthetic data augmentation

摘要

针对杂乱紧固件抓取困难和人工标注过程昂贵的问题，本文提出了一个基于深度学习的级联抓取模型和一种紧固件合成数据生成流程。级联抓取模型首先通过改进的YOLO v8n检测出可抓取的紧固件，再通过改进的GRCNN模型估计最佳抓取位姿。合成数据生成流程通过具有域随机化的物理模拟场景生成杂乱紧固件合成数据，从而增强真实数据集，有效减少了对人工标注的依赖。实验结果表明，生成的合成数据显著提升了模型性能，改进模块有效提升了模型的检测精度和鲁棒性。在实际抓取任务中，提出的级联抓取模型在不同型号、不同杂乱程度的紧固件上的平均抓取成功率为92%。

关键词

机械臂抓取；紧固件；深度学习；合成数据；YOLO

内容简介

一、研究背景

随着工业场景中对自动化需求的不断提高，无序抓取逐渐成为工业生产中的研究热点，虽然这一技术广泛应用于制造业、仓储物流等领域，但在处理尺寸较小且杂乱堆放的工业紧固件时依然面临诸多挑战。本文提出了一种基于YOLO v8n和GRCNN的级联抓取模型，提升了对紧固件的检测精度。其次，本文提出了一种杂乱紧固件合成数据的生成流程，通过具有域随机化的紧固件物理模拟场景，自动生成带有边界框标签的合成数据，降低了数据集的制作难度。

二、研究方法

2.1 合成数据生成

以铆钉为例，将模型导入到Blender中，配置合适的材质和纹理，加入光源、虚拟相机和背景。在渲染过程中引入域随机化技术，随机化光照强度、虚拟相机位姿、铆钉的数量和初始位姿，利用物理引擎模拟铆钉掉落到料箱中的碰撞过程，并通过虚拟相机获取合成数据样本。通过射线机制判断铆钉质心、钉身和钉头抓取区域的遮挡情况，并对可抓取的铆钉进行自动标注。

2.2 RFCAS-YOLO v8n

本文基于YOLO v8n提出了一种名为RFCAS-YOLO v8n的模型。

• 用感受野坐标注意力(RFCA)卷积块替换YOLO v8n中的卷积块，并设计新的C2f模块，使模型更好地提取铆钉位姿信息，定位质心。

• 引入SIoU损失函数作为边界框损失函数，能够更好地处理边界框间的重叠和干扰。

2.3 抓取估计

通过对GRCNN生成的质量图进行PCA操作，预测目标的旋转角度并优化抓取位置，增强了模型估计紧固件抓取位姿的鲁棒性，同时删减了网络中预测角度的分支。

三、实验验证

3.1 数据集

本文使用两个自建数据集，杂乱铆钉数据集用于训练改进YOLO v8n模型，包含300张不同杂乱程度铆钉图像，5178个可抓取铆钉实例，训练集中合成数据与真实数据之比为9:1，测试集与验证集为真实数据。铆钉抓取数据集用于训练改进GRCNN模型，包含260张不同杂乱程度的可抓取铆钉图像，25261个抓取表示。

3.2 RFCAS-YOLO v8n性能评估

RFCAS-YOLO v8n模型消融实验结果如下：

• 仅引入合成数据：mAP提升5.8%；

• 引入合成数据和RFCA对比仅引入合成数据：mAP提升2.2%；

• 引入合成数据和SIoU对比仅引入合成数据：mAP提升1.3%；

• 联合优化对比仅引入合成数据：mAP提升2.9%。

将RFCAS-YOLO v8n与参数量相近的主流 YOLO 系列算法进行对比，RFCAS-YOLO v8n在准确度（81.2%）和mAP（89.2%）上均最优，综合性能领先。

3.3 改进GRCNN性能评估

通过与 GGCNN、GRCNN对比，评估改进后的GRCNN性能，模型在准确率（90%）上最优，且在处理不同姿态和数量的铆钉场景时表现出更强的鲁棒性。

3.4 抓取实验

选择了5种不同的紧固件，分别为沉头铆钉、平头铆钉、圆头铆钉、沉头螺栓和圆头螺栓，并为每种紧固件设置了3种密集程度的场景，每个场景进行5次抓取实验，共进行75次抓取操作，平均抓取成功率为92%。

图1. 实验抓取流程。(a)检测可抓取铆钉，(b)执行抓取，(c)转移铆钉，(d)返回初始位置

四、总结

本文提出的级联抓取模型通过引入 RFCAConv、SIoU 模块，增强了对紧固件位姿信息的提取能力和稳定性，通过基于PCA的图像处理方法，提高了估计紧固件抓取位姿的鲁棒性。本文提出的杂乱紧固件合成数据生成流程，通过具有域随机化的紧固件物理模拟场景，自动生成带有标签的合成数据，有效减少了对人工标注的依赖，显著提升了数据集制作的效率。在未来的研究中，希望探索适用于柔性夹爪的触觉传感器技术，以便进一步提升系统在工业生产中的应用效果。