石英坩埚内的小气泡如何检测？- 大数跨境

首页

石英坩埚内的小气泡如何检测？

光伏研习社

2024-02-28

导读：材料+能源领域一站式服务平台

获取原文，关注公众号回复07，添加管理员

0引言

石英坩埚作为拉制单晶硅一次性使用的关键材料,广泛应用在太阳能电池和集成电路的制备中,对所制备产品的质量有直接的重要影响。现有技术所生产出的石英坩埚具有内壁透明层和外壁不透明层双层结构,其透明情况由气泡数量和大小引起。外壁含有大量密集气泡,使得外观呈絮状不透明,可以增加热绝缘性及提供均匀辐射的热源,内壁含有较稀疏的微小气泡,在承受长达50h的1400℃高温环境过程中,气泡体积逐渐增大,很容易发生破裂,将气泡中的气体和石英杂质渗入硅液中,破坏晶体结构。因此,在使用坩埚前,对其内壁透明层气泡的大小及数量检测尤为重要。

传统图像处理算法针对气泡检测一般基于边缘轮廓和圆周曲率进行拟合。文献在气泡图像轮廓上筛选出所有凹点进行重叠气泡的分割,并基于最小二乘圆周拟合方法实现气泡拟合定位。文献首先对气泡图像进行多尺度分解,分别在低频和高频子带上进行边界检测,最后通过多尺度边界融合提取气泡,有效检测了不同尺度大小的气泡。但是传统算法受限于成像时的光照环境,以及小气泡目标本身存在特征信息较少、分辨率较低、边界轮廓不完整等因素,存在泛化能力不足、目标漏检等问题,无法满足工业检测需求。当前基于深度学习的目标检测算法主要分为两阶段目标检测算法和单阶段目标检测算法,其中单阶段目标检测算法结构简单,计算效率更高。相对于传统图像处理算法,基于深度学习的目标检测算法在大量的数据样本中利用卷积神经网络强大的特征提取能力,获得目标信息丰富的特征图,有效解决了传统算法的难点,且模型具有高度模块化的特点,通过改进不同的结构以应用在工业、医学等领域中视觉测量和缺陷检测的任务。文献提出了一种改进FasterR-CNN的电子元件气泡缺陷检测方法,检测准确率大幅度提高,但参数量较大难以部署。文献提出一种改进YOLOv3模型对贴装元器件进行检测,重新设计特征金字塔结构,提升了小目标检测精度,但大量的推理计算降低了检测速度。文献为提高输电线路小目标的检测速度,通过减少YOLOv4特征层的数量,大幅度提高了网络推理速度,但检测精度有所下降。

针对以上问题,为了对石英坩埚内壁实现实时有效的微小气泡检测,基于目前综合性能较好的YOLOv5进行网络结构改进,提出了一种YOLOv5-QCB的气泡检测网络。在主干网络,对输入图像经过大量的下采样操作会丢失细节特征,因此本文针对气泡目标尺寸小、大小差异小的特点,减少下采样倍数,将三个尺度预测改为两个尺度,在此基础上,使用K-means算法重新聚类目标先验框尺寸;同时为了弥补缺失的深层语义特征,使用空洞卷积增大特征图感受野;颈部利用有效通道注意力机制以增强重要通道特征权重,使网络自适应地去关注与任务相关的通道特征。实验结果表明,本文方法在小气泡检测的精度和速度上有着显著提升。

1YOLOv5算法原理

YOLOv5算法根据网络深度和特征层通道的宽度的不同,目前有YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x等不同大小版本,其中YOLOv5s宽度和深度最小,在特定的工业检测任务方面,满足检测精度的同时,具有速度快、易于嵌入式部署的优势。其网络结构如图1所示。

主干网络(Backbone):以640×640的输入图像为例,主干网络对输入图像不断进行下采样,再通过C3模块进行深度的特征提取,最后使用SPPF模块扩大特征图感受野,获取重要的上下文信息。其中,C3模块借鉴轻量化CSPNet[10]结构的思想,可以降低网络计算量,并实现丰富梯度信息的融合,增强了网络学习能力。快速空间金字塔池化(spatialpyramidpoolingfast,SPPF)是对空间金字塔池化(spatialpyramidpooling,SPP)的改进结构。改进的SPPF为3个池化核大小均为5的串行池化结构,相比于SPP使用的池化核大小分别为5、9、13的并行池化结构,可有效利用上层的池化输出,以更小的计算代价实现了多重感受野特征融合。SPPF结构如图2(a)所示,SPP结构如图2(b)所示。

颈部网络(Neck):对主干网络经过8、16、32倍下采样获得的80×80、40×40、20×20三个尺度特征图通过路径融合结构(pathaggregationnetwork,PANet)进行浅层和深层的特征融合,在获得图像深层特征语义信息的同时,也融合了浅层特征细节信息。

头部检测(Head):由于浅层特征图分辨率高,预测目标框尺寸小且分布密集,能有效检测小目标;中层特征和深层特征图分辨率较低,预测目标框尺寸较大且分布稀疏,用于检测中目标和大目标。头部网络分别对各尺度特征图的每个位置预测3个目标框,若网络预测的类别个数为k,则每个目标框计算出5+k个预测值,其中前4个值用于调整目标框的位置,第五个值表示目标框中含有目标的置信度。

2本文算法

2.1改进的YOLOv5-QCB网络结构

YOLOv5网络模型作为通用的目标检测框架具有了良好的检测性能和推理速度,但由于显微镜下的图像光照差,气泡边缘轮廓模糊,检测效果并不理想。本文基于YOLOv5提出了改进的YOLOv5-QCB气泡检测网络,其整体结构如图3所示。

首先,针对数据集气泡目标尺寸小且密集的情况,删减主干网络中32倍下采样的相关特征层,对8倍下采样的(80,80,128)浅层特征图和16倍下采样的(40,40,128)中层特征图通过PANet网络进行特征信息融合,头部使用40×40和80×80的两个尺度特征图分别对中尺寸和小尺寸目标进行检测。

其次,由于删减了32倍下采样的特征层,会导致网络缺少部分深层语义特征,因此,在PANet结构中使用空洞卷积,通过增大卷积核感受野得到全局语义特征。

最后,由于原始头部检测网络对所有通道同等对待的处理方式,看似公平但不合理,针对小气泡的检测的任务,增强小气泡的细节特征信息是非常重要的。因此在检测网络前,利用有效通道注意力机制,增强重要通道特征权重,使网络更加关注与任务相关的通道特征。

2.2K-means聚类锚框

为了提高网络目标框回归能力,使用K-means聚类算法在本数据集上重新聚类获得6组合理的先验锚框尺寸,并按大小分配给两个尺度的输出特征图,如表1所示。

表1锚框尺寸分配情况

根据COCO数据集对目标大小按绝对尺寸的定义,尺寸小于32×32的目标被认为是小目标,尺寸大于96×96为大目标,尺寸介于32×32与96×96为中等目标。从聚类的锚框尺寸可以看出,本数据集中无大尺寸目标,且绝大部分锚框的宽高之比为1∶1,符合坩埚透明层气泡特点。

2.3空洞卷积

随着神经网络的层数加深,通常通过下采样和增加卷积核的大小来扩大特征图感受野,但是下采样会造成特征图分辨率降低,细节信息丢失,而增加卷积核大小会带来大量的参数和计算量,降低网络性能。

空洞卷积即在标准卷积的卷积核中进行零填充,在不增加计算量的情况下来扩大感受野,同时可以维持输出特征图的分辨率,避免了由于下采样导致的细节信息的丢失问题,对于小目标的检测更加有效[12]。本文为了弥补删除深层特征图所损失的语义特征,采用卷积核大小为3×3、步长为1、膨胀率为2的空洞卷积扩大特征图感受野,如图4所示。

2.4引入有效通道注意力机制

由于本文研究的检测对象均为小尺寸目标,特征信息较少,并且原网络作为通用模型并未针对小目标做出优化策略,存在特征信息提取能力不足的问题。而注意力机制是在几乎不增加模型大小和计算量的前提下,通过增强重要特征信息提高检测性能。最早提出的通道注意力模块SE[13](squeeze-and-excitation)被广泛使用,但降维不可避免带来了特征信息的丢失,并且计算得到所有通道间的依赖关系是低效且不必要的。相较于SE模块,ECA[14](efficientchannelattention)注意力模块并不通过降维的方式减少计算量,在对输入特征图经过全局平均池化后,得到具有全局感受野的1×1×C的特征图,然后通过卷积核大小为k的快速一维卷积对每个通道与其k个近邻实现局部跨通道信息交互,其中卷积核大小k与输入通道数成正比,最后通过Sigmoid函数压缩通道权重在0~1之间后,得到局部通道依赖关系,实现了快速有效的通道特征值加权,使网络更加关注与任务相关的通道特征信息。ECA模块结构如图5所示。

3实验结果与分析

3.1实验环境及相关参数

本文实验均在Windows10操作系统下运行,CPU为2.30GHz的i7-11800H,内存16GB,显卡为NVIDIARTX3050,显存4GB,使用CUDA11.1和CUDNN8.1支持GPU加速。Python版本为3.6,深度学习框架为Pytorch1.9.0。模型输入尺寸为640×640,所有网络参数随机初始化并累积计算200个epoch。

3.2数据采集系统

实验室搭建的视频图像采集系统如图6所示,该系统由主机、相机、定焦镜头等组件构成。由于石英坩埚中的气泡真实存在大小在微米级别,普通相机无法捕捉到清晰的气泡图像,因此采用可调节放大倍率的数码显微镜作为图像采集设备,调节光源以模拟不同光照环境,为方便数据采集,使用坩埚碎片作为研究对象。

对采集的视频数据进行抽帧,得到大量气泡图像,最终选择500张图像作为石英坩埚气泡数据集,并通过LabelImg手工进行标注,总共标注有6190个气泡目标,标注类别名称记为QCB(quartzcruciblebubbles),将手动标注的xml文件格式经过程序处理,读取每个图像对应位置、目标标注的坐标和类别信息,统一转换为txt格式,以便YOLOv5对数据集的读取。将气泡数据集按8∶2随机划分训练集和验证集,如表2所示,训练集有图像400张,包含4878个气泡目标,验证集有图像100张,包含1339个气泡目标。

3.3评估指标

对于模型性能的评价,通常选取检测精度(precision,P)、召回率(recall,R)、平均精度(averageprecision,AP)、平均精度均值(meanAP,mAP)、权重大小(weight)和帧率(framespersecond,FPS)作为模型评价指标。其中检测精度用来衡量模型的查准率,计算公式如式(1)所示;召回率评估模型的查全率,计算公式如式(2)所示;单一的精度和召回率并不能全面评估网络算法的性能,而平均精度综合了精度和召回率,是目标检测算法最主要的性能评价指标之一,计算公式如式(3)所示;mAP表示所有类别的AP平均值,当检测为单类别时,mAP等同于AP;权重大小作为评估模型复杂度,权重越小,模型越轻量化;FPS指网络每秒处理的图像帧数,用于衡量网络的检测速度。

其中,TP表示正确检测的正样本数量,即检测正样本为正样本,FP表示检测错误的正样本数量,即检测负样本为正样本,FN表示检测错误的负样本数量,即检测负样本为正样本。AP表示为P-R曲线下的面积,即在每一个不同的召回率下所有检测精度的平均值。

3.4各深度特征融合对性能的影响

原始颈部网络是对8倍、16倍、32倍下采样后的3个不同深度特征图进行特征融合,更利于检测大尺寸和中尺寸目标,但对于本数据集,过大的下采样倍数会丢失小气泡目标的细节特征。因此需探究各深度特征融合对模型检测性能的影响,选取4个融合结构进行分组实验。A表示原网络20×20、40×40、80×80三个尺度的特征融合结构,B表示20×20、40×40深层特征融合结构,C表示80×80、160×160高分辨率特征融合结构,D表示40×40、80×80浅层特征融合结构。模型A、B、C、D结构如图7所示,结果如表3所示。

通过实验可知,结构D性能最佳,AP为97.66%,结构C次之,结构A性能较差,结构B最差。这是因为当特征层较浅时,特征图分辨率较大,小目标的细节信息较为丰富;而当特征层数加深,下采样操作会获取深层语义信息,但丢失了大量细节信息。由于石英坩埚气泡尺寸小,结构B与原结构A相比,仅利用了深层语义信息,而缺失大量的细节特征,导致小目标精度大大降低;结构C与结构D相比,虽然含有丰富的细节特征,但忽略了深层的语义特征,检测精度较低;而结构D能更好地融合浅层特征和深层特征,避免细节特征的丢失,小目标的精度得到提升,相较于原结构A而言,不仅精度大大提升,而且大幅度减少了权重文件大小,检测速度得到明显提升,相比于结构B和结构C的模型性能,检测速度虽不及结构C,但其它各项指标均为最优,整体性能较强。因此本文针对石英坩埚气泡的检测,采用结构D,删除32倍下采样层,并使用40×40、80×80两个尺度的输出特征图作为头部检测。

3.5消融实验

图8为YOLOv5基准网络和改进后YOLOv5-QCB模型训练的AP曲线图,可以看出两者总体呈现上升趋势,但YOLOv5-QCB的AP值基本上均高于YOLOv5原模型。发现在50轮迭代后,均趋于平缓,YOLOv5-QCB在75轮迭代处出现较大波动后趋于平稳直至收敛,而YOLOv5分别在110和120轮迭代处仍出现较大波动,最终在相同迭代轮数下,改进后的YOLOv5-QCB模型的AP值明显高于YOLOv5。

为证明本文改进的有效性,通过消融实验验证改进的浅层网络结构、使用空洞卷积、添加有效通道注意力机制对性能的提升效果。结果如表4所示,模型1使用浅层特征网络结构,由于删减了大部分深层卷积,大幅度降低权重文件大小的同时,较大保留了浅层细节特征,显著提升了召回率和平均精度。模型2在改进的浅层网络结构的基础上,使用空洞卷积以增大卷积核的感受野,提取到更加完整的有效全局语义特征信息,相较于模型1,提高了模型检测精度和召回率。模型3为引入的有效通道注意力机制模型,相较于模型1,能够自适应地增强重要通道特征,提高了检测精度。最后模型4同时使用三种改进方法,较原始YOLOv5,各项指标得到显著提升,AP达到98.76%,提高了2.49%,召回率为96.18%,提高了2.27%,检测速度达到了82帧,提高了17帧,较模型1、模型2、模型3不同组合的改进方法,在检测速度相差不多的情况下,召回率、平均精度有明显提升。可以看出,三种改进方法相辅相成,对小目标检测起到重要作用。

3.6不同检测算法对比

为证明本文改进的YOLOv5-QCB模型的检测性能,将本文算法同SSD、YOLOv3、YOLOv4以及YOLOv5s这4种主流的目标检测算法在相同数据集下进行测试。实验结果如表5所示。

由表5可知,针对石英坩埚透明层气泡检测,改进模型YOLOv5-QCB在各方面项性能指标上表现优异。本文提出的YOLOv5-QCB虽然精度略低于SSD,但是在召回率、平均精度、模型大小上有着显著优势;而相对于速度和精度更加均衡的YOLOv3、YOLOv4、YOLOv5s经典算法,YOLOv5-QCB不仅模型权重最小,而且在识别精度和边框回归能力上均为最优,具有更好的综合性能。

为了更直观地展示改进模型性能,对不同放大倍数下的密集气泡图像进行测试,分别使用YOLOv5-QCB和性能较优的YOLOv5s对石英坩埚气泡进行检测,结果如图9所示。从图中可以看出,在不同场景中YOLOv5-QCB对气泡目标检测效果均为理想。在弱光照环境下,气泡图像轮廓与背景对比度低,存在大量噪声干扰的情况,YOLOv5-QCB能够检测到YOLOv5s中一些漏检目标,进一步提升了模型的密集多目标检测和小目标检测能力。

4结论

本文基于深度学习强大的特征提取能力,完成了石英坩埚气泡的检测任务。针对坩埚透明层小气泡检测的难点,基于构建的坩埚气泡数据集进行训练和验证。首先,通过实验验证了删除32倍下采样层能够保留了足够的局部细节特征,提升了小目标的检测性能,同时大幅度减少了参数和计算量。其次,在颈部网络中,使用空洞卷积增大卷积核感受野,实现局部细节特征与全局语义特征的融合。最后,在输出检测层前使用有效通道注意力机制,增强重要通道特征表达能力。通过在坩埚气泡数据集上的检测结果表明,较原YOLOv5网络,改进后YOLOv5-QCB精度和召回率分别提升了0.26%和2.27%,平均精度达到98.76%,提升了2.49%,权重大小为6.11MB,FPS为82帧/s,在速度和精度上具有显著优势,满足工业化实时检测的需求,可为石英坩埚质量检测提供数据参考和技术支持。后续将通过研究模型压缩方法,进一步使模型轻量化,以应用在工业检测下的嵌入式开发环境。

【声明】内容源于网络

光伏研习社

光伏研习社是一个光伏互联网服务平台，立足互联网，依托大数据，致力于光伏产业的资源融合、产业互连和行业服务。

内容 1434

粉丝 0

光伏研习社光伏研习社是一个光伏互联网服务平台，立足互联网，依托大数据，致力于光伏产业的资源融合、产业互连和行业服务。

总阅读8

粉丝0

内容1.4k