一 3D视觉引导高反光圆柱棒上下料全流程
二 相机选型
相机型号：
安装方式：眼在手外固定安装
工作推荐距离(mm)：500-2000
视野尺寸：
相机优点介绍：苏州三迪斯维的KW-KINGFINER系列3D相机，解决了3D 视觉领域难以兼顾大视野 + 抗阳光的痛点，广泛应用于工业检测、自动化生产、机器人导航、以及科研领域等多个高端场景，技术成熟且稳定。采购联系微信：cv3d007
三 圆柱抓取项目测试流程
项目配置顺序:新建项目->相机连接与调参->机器人连接与标定->视觉配置->与机器人联调
3.1 新建圆柱作业
3.1.1 新建项目
-
选择好项目保存路径，设置项目名称（当前只支持英文或数字）。 -
插件功能先不考虑。将圆柱作业流程跑通之后，根据实际情况添加。
3.2 相机连接与调参
3.2.1 相机连接
-
点击相机图标进入相机连接界面 -
选择相机品牌KINGFISHER -
选择左右目相机，点击连接KINGFISHER-相机标定文件 -
导入对应相机内外参配置（内参：相机自身的物理属性，描述像素坐标系和相机坐标系之间的关系；外参：相机坐标系和世界坐标系的关系（R，t）） -
选择圆柱通用成像模型 -
添加相机配置
3.2.2 相机调参
-
使用默认参数触发拍照(默认参数不能修改) -
若成像效果不佳画面过暗或过曝，需点击添加相机参数配置
|
|
|
|---|---|---|
|
|
|
|
-
调整AOI（感兴趣的区域）、目标亮度（希望2d图达到的亮度）
3.3 机器人连接与标定
3.3.1 机器人连接
-
点击机器人图标，进入机器人界面 -
点击新增机器人 -
按实际情况选择通信方式 -
点击下一步 -
配置机器人 -
点击完成
3.3.2 机器人标定
-
作业信息选中对应的相机和机器人 -
切换至手眼标定模块 -
点击新增手眼标定 -
设置标定名称 -
选择相机安装方式、标定板类型、标定方式以及在线获取坐标方式
3.4 视觉参数配置
配置流程：新建工件->添加末端工具->设置ROI->调整视觉参数
3.4.1 工件
-
点击【新增工件】按钮，添加圆柱新工件。添加时会加载圆柱通用模型，工件创建完成需要15秒左右，添加成功后，自动跳到下右图界面。根据需求选择长圆柱或短圆柱通用模型
-
工件配置中的圆半径、高与公差可以按照需要设置。抓取点默认基于圆柱轴线上的尺寸中心和半径生成，生成数为360/旋转抓取间隔*2（正反方向），也可以从端点开始，根据先验尺寸估计出圆柱中心（一般应用在圆柱紧挨导致模型将多个圆柱拟合为一个的场景）
-
模型训练是在识别效果不好的时候使用，首次添加不用管。
-
点击返回，结束工件设置，返回运行配置界面
3.4.2 末端工具
-
此末端工具即为夹具模型。导入的模型只用于显示，方便观察抓取点，不参与计算。只有在做抓取防呆和碰撞检测时才需要使用此模型。 -
导入方式： -
点击【新增末端工具】
2. 设置工具名称，类型选择“夹具”。点击文件图标，在弹出的文件选择窗口中找到模型存放路径，导入模型。此处只支持PLY格式的文件导入。
3.4.3 ROI
3.4.3.1 配置ROI
1. 点击【新增ROI】，进入ROI配置界面，设置ROI名称，ID（唯一），可以使用默认值。
2. 窗口显示区一共有两个显示窗口，左边的为3DROI，右边的为2DROI。
3. 如果是双目（KINGFISHER）相机，2DROI会分为上下两部分，分别对应左目、右目相机。只需要在上方（左目）的2DROI里进行操作，下方的2DROI会根据上方的ROI区域自动调整。设置2DROI时必须保证上下两个区域的ROI都能框住目标。
4. 点击【拍照取图】，或者选择【导入图片/点云】。
5. 调整ROI2D。
1. 将鼠标置于2DROI窗口中，按住鼠标左键拖动，会出来一个黄色方框，此框即为2DROI。
2. 根据实际物料大小调整ROI范围。鼠标置于黄色边框，即可拖动改变方框大小。
3. 设置2DROI要求（方法）：
1. 因为视角的原因，离相机越近在视野范围内的占比就越大，所以应当以最高层的圆柱范围来设置ROI。
2. 需要考虑到圆柱倾斜、托盘来料位置公差等，设置的ROI需要有一定的余量，不能“贴着”圆柱边缘。
3. ROI也不要设置的太大，在满足Ⅱ的前提下尽可能小。（ROI内的部分将用于模型检测，ROI越小，周围环境对检测的干扰就越小）
6. 调整3DROI。
1. 新建ROI时，软件会自动在3DROI窗口创建一个默认ROI框（黄色）。鼠标左键转动点云，从不同的角度观察目标位置，方便调整ROI。
2. ROI框周围的箭头和圆可以操作ROI的位置和方向，颜色：红->X，绿->Y，蓝->Z。箭头->改变大小，圆->方向旋转。将鼠标置于对应的箭头或者圆圈上，按住右键拖动即可调整。中间坐标系表示ROI框的中心位置，和XYZ正方向的朝向。
3. 设置3DROI要求（方法）：
1. 以地面为参考，ROI的Z+要朝上。如果物料是倾斜摆放，建议以物料表面为参考，ROI的Z垂直物料表面朝上。（软件中的很多算法默认Z+朝上，配置ROI时，以相同的Z轴朝向可以减少很多参数的调整）
2. 将ROI底面拖动到参考平面（可以是料框上表面，也可以是底面），如果ROI框比平面大，可以先将框缩小，更方便观察ROI平面是否调平。先调整红绿圆（绕XY轴旋转），让ROI平行于参考平面，再调整蓝轴（绕Z轴旋转），让ROI边跟物料朝向一致。
3. 再根据工作区间范围，拖动箭头，调整ROI大小和高度，使其完全囊括整个目标范围。
4. 同2DROI，也需要考虑物料实际可能的范围，3DROI也应当留有余量，以防止物料超出ROI导致识别失败或者出错。
5. 应注意的是，3DROI是在点云上设置的，反应的是真实的尺寸，不存在（离相机）远小近大的情况，所以3DROI不应当随意的设置的很大，尤其是物料周围有支架、线体等时，以防止误识别时出现撞机等严重事故（视觉输出抓取点通常限定在3DROI内）。
6. 如果有底面且底面不需要识别，可以将ROI底部设置在底面上方，以减少底面干扰，提高抓取稳定性。
7. ROI 3D也可以通过右边的数值进行调整。
8. 点击返回，结束ROI设置，返回运行配置界面
7. 仔细观察会发现，ROI 2/3D类型里有下拉框，可以选择不同类型的ROI。
1. **工作区：**必选，算法生效区域。使用工作区的ROI将2D图或者点云图截取出有效部分，再进行算法识别和计算。
2. 料框/栈板/底托：
3. **抓取区：**可选，抓取点存在的区域。如果物料比较大，抓取点又基本在一个较小且稳定的范围内波动，则可以设置一个可抓区，配合抓取点过滤剔除可抓区以外的抓取点，防止识别出错导致事故发生。
4. 观察区：
3.4.4 视觉参数设置
3.4.4.1 2D识别
3.4.4.1.1 缩放比例
-
功能
在使用深度学习模型识别图像时，通过等比放缩原始图像后再推理以提升2D识别的准确率与召回率。
-
使用场景
检测效果不佳（如无法识别、漏识别、包围盒框到多个实例或框不满实例)应调整该函数。
-
调参 -
使用默认值运行，在2D识别窗口，打开掩膜包围盒查看检测结果，若出现无法识别、漏识别或框不满实例的情况，应调整该函数。
|
|
|
|---|---|---|
|
|
|
|
尝试不同的缩放比例，观察检测结果的变化，逐步确定缩放比例的范围。如果在某个缩放比例下，检测效果显著提高，则将该缩放比例作为下限；在某个缩放比例下，检测效果显著降低，则将该缩放比例作为上限。
3.4.4.1.2 分数下限阈值
-
功能
仅保留深度学习模型识别结果分数高于分数下限阈值的识别结果
-
使用场景
检测结果框取的实例不符预期时，可调整该函数
-
参数说明
默认值：0.5
取值范围：[0.01, 1.00]
-
调参 -
如果模型检测出的实例较少，应当调小该阈值；取值过小，可能会影响图像识别的准确度。
|
|
|
|---|---|---|
|
|
|
|
- 若因为分数下限阈值过小导致检测出错误的实例，而需要去除这些错误的实例，应当调大该阈值；取值过大，可能会导致保留的检测结果为零，没有结果输出。
3.4.4.2 3D计算
3.4.4.2.1 拟合参考距离
-
功能
模型根据实例点云计算一个理想的圆柱，与该理想圆柱的距离小于拟合参考距离的点云被拟合成圆柱
-
使用场景
基于圆柱的有序上下料、基于圆柱的无序抓取
-
参数说明
默认值：0.002
取值范围：[0.0001,1]
单位：m
-
调参 -
拟合出圆柱的日志如下图
可在C:\Users\dex\kuawei_data\PickLight\历史数据时间戳\Builder\pose\output文件夹中，查看圆柱拟合结果，如下图所示。
-
如果实例检测的圆柱与实际圆柱不符，应当在工件界面修改视觉模型
-
如果日志报警"未检测到符合要求的圆柱点云"，表示拟合不出圆柱，应当在工件界面预先填入圆柱工件的半径和长度之后再运行
半径指的是圆柱竖直摆放时顶面圆的半径或横截面圆的半径
长度指的是圆柱滚动摆放时较长的尺寸，仅包含半径大小一致的部分的长度
-
如果抓取点偏离圆柱中心，首先应当在工件界面将圆角度阈值设置为30°
-
如果发现拟合圆柱与实际圆柱不符（如拟合圆柱点云缺失、弧度弯曲），应当调大拟合参考距离，将更多的点云纳入拟合圆柱，数值过大可能包括噪声点
3.4.4.2.2 拟合分数阈值
-
功能
计算拟合成圆柱的点云数量与实例点云的数量的比值，比值小于拟合分数阈值的拟合圆柱将被过滤
-
使用场景
基于圆柱的有序上下料、基于圆柱的无序抓取
-
参数说明
默认值：0.5
取值范围：[0,1]
3.5 与机器人联调测试
使用网络调试助手模拟机器人与软件进行连接
附录
联系方式
