大数跨境
0
0

一文详解点云模板制作的要素、原则及案例

一文详解点云模板制作的要素、原则及案例 计算机视觉工坊
2025-11-09
0

点击下方卡片,关注「计算机视觉工坊」公众号
选择星标,干货第一时间送达

来源:计算机视觉工坊

「3D视觉从入门到精通」知识星球(点开有惊喜) !星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研,欢迎扫码加入

图片


一 思维导图

二 内容

2.1 工件点云模板制作说明

2.1.1 前置条件

前置条件
定义
注意事项
工件姿态变化
有限姿态(可数):仅能看到工件固定面(如正面),有效点云区为该面稳定可见的区域。
任意姿态:工件可能以任意角度出现,有效点云区为在80%以上姿态下均能稳定成像的区域(排除深孔、过曝区、凹槽等易缺失点云的部分)。
有序场景:
模板应仅依赖固定可视面的点云,避免因不可见面导致匹配失败。
无序场景:  
需通过多视角扫描或CAD仿真确定稳定可见区域。
排除易缺失区域(如反光面、深凹结构),避免依赖不可靠点云。
确认方法:  
采集不同姿态下的点云,统计各区域的可见频率,筛选有效点云区。
相机成像点云效果
通过3D相机(如结构光、双目视觉等)对目标工件进行识别后,所获取的点云数据的质量与完整性。
1. 点云缺失
常见原因:    
工件属性(高反光、透光材质导致激光无法返回)。   
环境光干扰(强光照射导致传感器饱和)。    
视角遮挡(工件自遮挡或外部物体遮挡)。  
优化策略:    
调整光源:使用漫射光或偏振滤光减少反光影响。    
局部模板:使用可视区效果较好的点云做模板。
2. 点云深度不连续、噪声大
常见原因:
工件属性(多层结构、透明/半透明材质)。    
相机超出视差范围(测量距离过近/远导致点云失真)。    
物体叠层遮挡(如堆叠工件导致点云混合)。  
优化策略:    
滤波去噪:使用滤波和剔除离群点功能优化点云质量。    
深度校准:确保相机在最佳工作距离内采集数据。    
分层分析:对叠层工件分区域提取点云,避免误匹配。

二、工件特性

属性(越高优先级越高)
定义
注意事项
尺寸
工件的物理尺寸(体积、面积)影响点云采集密度和模板计算复杂度。
+ 大尺寸工件:
    - 点云模板的点云数量建议不超过50000(需要根据精度要求决定是降采样还是原密度切割后单独作为精配准模版),避免计算资源浪费。
    - 优先选择特征明显区域(如边缘、孔位)进行密集点云采样,纯平面区域可减少点云密度,提高配准效率。
+ 小尺寸工件:
    - 确保相机成像质量,确保点云细节完整。
    - 若可视点云过少(少于200),需适当降低相机高度提高点云密集度。
自遮挡
工件自身结构导致部分区域在特定视角下无法成点云(如多层嵌套,叠层工件、复杂曲面等)。
+ 遮挡边缘易产生点云断裂或噪声,建议点云模板直接采用pickwiz系统处理后的点云
+ 应当选择遮挡不敏感的稳定特征(如外轮廓、固定孔位)作为模板主体,忽略时变遮挡区域。
- [ ] 若单视角存在严重遮挡,需分视角采集局部点云制作模板。
立体性
工件在三维空间中的深度变化程度(如高度差、阶梯结构、曲面起伏等)。
+ 应当利用可呈点云区域作为筛选有效模板区域的标准,避免背面点云干扰。
+ 棱边、拐角区域可增加点云密度,曲面区域可保留相机点云密度,平面区域可稀疏采样,以平衡精度与效率。点云量以不超过50000为基准,在此基准下进行模板点云密度调整
对称型
工件具有对称结构(如左右对称、旋转对称)。
+ 关键点校准:若使用关键点模型,需严格对齐点云模板与CAD中心点,避免镜像误差导致配准偏移。
内凹状
工件表面存在凹陷结构(如内孔、凹槽),可能导致点云缺失或成像不稳定。
+ 外轮廓优先:优先提取完整可视的外轮廓作为模板主体。
+ 稳定性考量:
    - 侧面点云:需评估不同视角下的稳定性,选择最稳定的可见区域。
    - 底面点云:通常可见性较差,可减少依赖或使用关键区域。
+ 简化模板:若凹槽区域点云质量差,可仅用边缘轮廓+少量特征点制作模板。
凸包状
工件表面存在凹陷结构(如内孔、凹槽),可能导致点云缺失或成像不稳定。
+ 反光问题:凸曲面易导致边缘反光,点云成像质量不稳定,模板应优先选择完整点云区域。
+ 强特征优先:若整体点云质量差,可仅保留高区分度特征(如标记点、棱边)用于配准。
平面型
工件表面近似平面,内部缺乏显著特征。
+ 边缘强化:将点云集中分布在边缘,增强配准引导能力。
+ 倾斜点云缺失补偿:
    - 若工件倾斜导致边缘点云成像模糊,可改用关键点模型辅助配准。
    - 或采用多角度光照优化点云质量。
动态更新情况

+ 对于易磨损或变形的工件,需定期重新评估遮挡和立体性变化,更新模板。

2.1.2 基本原则

在工业机器人 3D 视觉中使用建模进行匹配时,选取特征需要遵循以下几个原则

特性 说明
显著性
选择那些在物体表面比较突出和易于识别的特征,如边缘、角点、纹理,凹凸面等。这些特征应该具有较强的可辨识度,便于在场景中快速检测和匹配。
稳定性
特征应该对光照、视角等变化具有一定的稳定性。
即使物体发生旋转、缩放等变形,这些特征也能保持相对不变
唯一性
特征应该具有足够的独特性,不易与其他物体或环境中的特征混淆。
这有利于提高匹配的精度和可靠性。
密集性
在物体表面分布尽可能密集的特征点,增加匹配的冗余性。这样即使部分特征点被遮挡或丢失,也能依靠其他特征点完成匹配。
可重复性
选择那些在不同视角、光照条件下都能稳定检测到的特征。这样可以确保特征在各种场景中都能被准确识别。
计算效率
特征的提取和描述过程应该尽可能高效,满足工业机器人实时响应的需求。可以选择一些计算量相对较小的特征。

2.1.3 针对性场景注意事项

不同工业场景、不同技术路径背景下,点云模板制作的一般注意事项如下

场景
场景图
点云图
+ 场景截图
+ 点云文件
模板
+ 直取图(文件+图)
+ 最终模板(文件+图)
点云模板注意实项
前置条件 x 工件特性 - 基本原则 - 对象选取 - 具体形式
注意事项应对方案
通用有序


20250421112817371.ply

直取点云.ply

最终模板.ply
前置条件:
  点云成像质量:边缘有噪点、面内点云小幅度波动、点云覆盖率高,部分情况有点云缺失。
  工件姿态变化:来料随机正反面,视野中平行放置为基准,水平旋转±30°
工件特性:大件长条(可能形变)、平面形工件
基本原则:
  显著性:边角缺省、有空圆区域
  密集性:会紧密贴合来料
  唯一性:单次只来一种工件
前置条件:
  边缘有噪点:采用pickwiz系统处理后的点云做模板(去除离群点、移除法线大于角度阈值点等功能)
  随机正反面:使用场景点云双模板,模板要与CAD的正反面贴合
工件特性:
  平面形:点云更多分布在特征区域,增强配准引导能力,以免横向匹配偏移。
  大件长条:点云模板的点云数量不超过50000
通用无序


20241023190015423.ply
model.ply直取图
正面点云.ply

反面点云.ply
前置条件:
  工件姿态变化:来料无序,随机正反面,任意角度出现
  相机成像点云:工件遮挡导致点云缺失、噪声大
工件特性:自遮挡、内凹状(有圆孔)
基本原则:
  显著性:有圆孔
  密集性:紧密贴合来料
  立体性:曲面起伏
前置条件:
  采用PickWiz处理后的点云,制作正反模板点云,模板要与CAD正反面贴合
工件特性:
  选择固定圆孔以及工件中间凹凸区域特征作为模板主体
面型有序


20250405152903300.ply
直取图.ply

最终点云模板.ply
前置条件:
  工件姿态变化:工件有序摆放,仅能看到工件的上表面(大圆+小圆),有效点云区则为该工件的上表面。
工件特性:立体性(有高度差、曲面起伏)
基本原则:
  唯一性:单次只有一种来料
  显著性:只能拍到工件上表面
前置条件:
  模板应仅依赖固定可视面的点云,因选择工件的上表面区域作为模板
工件特性:
  立体性:曲面区域可保留相机点云密度,平面区域可稀疏采样,以平衡精度与效率
面型有序


工艺误差导致小罐空间位置会上下波动

20250405152903300.ply
直取图.ply

最终点云模板.ply
前置条件:
  工件姿态变化:工件有序摆放,仅能看到工件的上表面(大圆+小圆),有效点云区则为该工件的上表面。
工件特性:立体性(有高度差、曲面起伏)
基本原则:
  唯一性:单次只有一种来料
  显著性:只能拍到工件上表面
  稳定性:小罐相对大罐的空间位置会波动
前置条件:
  模板应仅依赖固定可视面的点云,因选择工件的上表面区域作为模板,且由于稳定性不佳,需要人为制作双层模板
工件特性:
  立体性:曲面区域可保留相机点云密度,平面区域可稀疏采样,以平衡精度与效率
面型无序


20250513160324265.ply

直取图.ply

头部+一部分杆点云.ply

整体点云.ply
前置条件:
  工件姿态变化:来料随机摆放,工件姿态任意
工件特性:对称型(旋转对称)、自遮挡
基本原则:
  密集性:紧密贴合来料
  唯一性:单次只来一种工件
  显著性:头部特征明显
前置条件:
  选取工件头部+小部分杆作为点云模板,该特征显著,便于快速匹配
工件特性:
  选取特征明显区域作为点云模板
通用无序


20250513155122444.ply
model.ply

正面最终点云.ply

反面最终点云.ply
前置条件:
 根据场景摆放和工件特性,应使 用正反模板,分别制作工件的正 面点云和反面点云,关键点取工件 整体的关键点
工件特征:
 工件凸包型,:凸曲面易导致反 光,点云成像质量不稳定
基本原则:
  显著性:物体表面比较突出和易于识别的特征
  密集性:紧密贴合来料
前置条件:
 使用pickwiz软件分别生成正反点 云模板(当前视角),且生成工 件整体的关键点
工件特性:
 使用场景点云双模板,模板要与 CAD的正反面贴合
面型定位装配(仅匹配)

foreground.ply
最终模板.ply
前置条件:
  工件姿态变化:工件在水平面出现,视野垂直工件识别面为基准,水平旋转±30°,垂直旋转±30°。
  成像点云效果:易受环境光干扰导致传感器饱和
工件特性:
  区域位于立体型点云与平面型点云相交处
基本原则:
  唯一性:场景中有且只有一个接口处
前置条件:
  姿态变化:采集多视角、不同视角的点云,建立稳定识别区
  环境光干扰:调整光源,使用漫射光或偏振滤光减少反光影响。
工件特性:
  平面型:将点云集中分布在边缘,增强配准引导能力
  立体型:曲面区域可保留相机点云密度,平面区域可稀疏采样,以平衡精度与效率
通用定位装配


20250424185031826.ply
model.ply
USB配最终模板.ply
前置条件:
  工件姿态变化:工件可能以任意角度出现,有效点云区域受到拍摄角度影响
  成像点云效果:目标区域狭小,会出现视角遮挡,自遮挡
工件特性:
  内凹状
基本原则:
  唯一性,显著性
前置条件:
  姿态变化:采集多视角、不同视角的点云,建立稳定识别区
  点云效果:使用可视区效果较好的点云做模板
工件特性:
  若凹槽区域点云质量差,可仅用边缘轮廓+少量特征点制作模板


附录

联系方式

▲长按查看3D相机和机械臂抓取软件
▲长按查看3D相机和机械臂抓取软件
▲长按添加小助理微信:cv3d007 或者 13451707958,咨询更多
▲长按添加小助理微信:cv3d007 或者 13451707958,咨询更多

【声明】内容源于网络
0
0
计算机视觉工坊
专注于计算机视觉、SLAM、三维重建、自动驾驶、具身智能、Mamba、目标检测、语义分割、深度学习、AI芯片、产品落地等最前沿科技。官网:www.3dcver.com 佳v:cv3d001 或 tel:13451707958
内容 3117
粉丝 0
计算机视觉工坊 专注于计算机视觉、SLAM、三维重建、自动驾驶、具身智能、Mamba、目标检测、语义分割、深度学习、AI芯片、产品落地等最前沿科技。官网:www.3dcver.com 佳v:cv3d001 或 tel:13451707958
总阅读947
粉丝0
内容3.1k