一种镀铝锌钢板成品图像数据识别处理方法与流程

本发明属于机器学习领域，特别涉及一种镀铝锌钢板成品图像数据识别处理方法。

背景技术：

1、工业产品是现代社会不可或缺的一部分，在各个领域发挥着至关重要的作用；然而，工业产品的生产涉及复杂的制造过程，需要严格掌握生产力和产品质量，其中表面缺陷是最重要的问题之一；在过去的几十年里，人工检查和人类视觉判断是检测缺陷的主要手段；随着对自动化缺陷检测系统的需求不断增加，手动检测变得低效、耗时且容易出错；因此，开发和实施可靠的缺陷检测技术对于确保高质量的生产过程至关重要；如何准确、快速地识别和分类表面缺陷是当前缺陷检测研究的热点问题；这一问题的出现与所涉及的各种因素的复杂性和多样性密切相关。

2、随着深度学习的重大进展，在目标检测任务方面取得了令人印象深刻的成就；基于深度学习的检测方法通过设计不同的网络模型来自动学习和提取图像特征，从而实现缺陷检测；当前的深度学习目标检测算法可分为两类：基于两阶段的方法和基于单阶段的方法。

3、基于两阶段的算法主要包括两个阶段：候选区域生成和目标分类检测；首先，这些算法使用区域提取方法，如选择性搜索和边缘框来生成一批候选区域；然后，使用卷积神经网络对这些区域进行分类和位置回归，以确定它们是否包含目标对象，并校准它们的边界框；基于单阶段的算法直接对输入图像进行密集的目标检测，而不生成候选区域；这些算法通常使用细胞神经网络对特征图进行目标检测和分类，然后通过微调检测帧的位置来准确定位目标对象；而且注意力机制在许多视觉任务中取得了巨大成功，它已成为深度学习领域最重要的概念之一，并在计算机视觉中发挥着越来越重要的作用。

技术实现思路

1、本发明提供一种镀铝锌钢板成品图像数据识别处理方法，以将机器学习技术应用到镀铝锌钢板成品图像缺陷检测方面，提高图像数据识别处理效率。

2、一种镀铝锌钢板成品图像数据识别处理方法，包含以下步骤：

3、s1、获取生产线上镀铝锌钢板表面缺陷图像，并对缺陷图像进行预处理，构建镀铝锌钢板缺陷数据集；

4、s2、设计一个单阶段目标检测算法的网络结构，该结构包括网络输入、特征提取主干网络、特征融合颈部网络和检测头部网络四个模块；在特征融合颈部网络中，引入一种用于捕获远程空间交互的通道，并结合位置协同性增强的mfc模块，以获取更精准的位置信息；在特征提取主干网络中，嵌入高效多尺度增强模块，并对尺度、空间和任务三个不同维度加入自注意机制，用于聚合多尺度空间结构信息，最终得到一个性能更优越的目标检测网络结构；

5、s3、将s1中建立的镀铝锌钢板缺陷数据集代入到s2设计的目标检测网络中进行模型训练，得到训练后的镀铝锌钢板缺陷检测模型；

6、s4、在每条生产线成品阶段安装工业检测摄像头，实时采集成品出料图像数据，对实时监测的话图像数据进行预处理操作，然后通过s2中设计的算法和s3中训练的模型对实时与处理后的数据进行识别，将检测到缺陷的成品钢板使用推动装置单独存放，并记录检测结果。

7、优选的，在s1中的预处理阶段，融合框架采用引导图像滤波对缺陷图像进行有效增强，引入对比度有限自适应直方图均衡化和未锐化蒙版作为增强图像细节支持的重要组成部分；最后，采用马赛克增强技术对增强图像进行随机裁剪和拼接，进一步提高图像的质量和性能；对于原始图像p的加权灰度处理，采用经典的灰度权值分配方法，分别为灰度的r、g、b通道分配0.299、0.587、0.114权值，得到灰度图像ph；然后将ph划分为n×n个大小相同且互不重叠的子块，约束值t如公式所示：

8、；

9、其中，nx、ny为x、y方向像素数，k为灰度级数，c是约束系数；裁剪直方图并重新分配像素点；那么它就满足了：

10、s=\sum ^{k-1}_{x=0} \left \{{max\left [ {h(x)-t} \right ],0} \right \}；

11、；

12、其中，s表示超过限制值t的像素数；h(x)为原始直方图；a是分配给每个灰度级的像素数；满足像素点重新分配后的直方图h′(x)：

13、；

14、对图像pz进行双线性插值，重建灰度值；同样，对图像进行边缘细节增强，数学表达式如下：

15、；

16、其中，pf为输出锐化增强图像；为低通滤波后的平滑图像;k表示增益系数；使用引导图像滤波对图像进行融合，公式如下所示：

17、；

18、其中，ij表示像素坐标，w(.)为滤波器的核函数；最后，利用拼接数据增强来增加图像的多样性：

19、；

20、其中，crop(.)表示对图像进行随机裁剪，得到局部区域图；mosaic(.)是指将局部区域地图拼接起来。

21、优选的，在s2中的算法设计中，其中监督损失部分考虑到ciou损失不仅关注重叠区域，还关注质心距离和长径比，因此选择使用ciou损失来计算边界框回归损失；最后使用边界框回归损失、置信度损失和分类损失来构建所设计算法的总损失，总损失计算公式为：

22、

23、其中ltotal为算法的总损失，lreg为边界框回归损失，lobj为置信度损失，lcls为分类损失；式中α=0.05，β=1，δ=0.5。

24、优选的，在s2中的算法设计中，在特征提取过程中，随着卷积层数的加深，低分辨率特征对应的感觉场无法匹配小目标的尺度；将特征金字塔中不同层的特征映射调整为中间层特征，即新的三维张量，其中l表示fpn的层数，将长度和宽度重新定义为一个维度s，即，c表示通道数；给定特征层，对其应用自注意机制，具体公式为:

25、

26、其中a(.)表示注意机制，在三个维度上执行注意机制:

27、

28、ac、as、al分别表示c、s、l维度的注意机制。

29、优选的，在步骤s2所述的对尺度、空间和任务三个不同维度加入自注意机制中，对尺度维度加入的自注意机制为尺度感知注意力al，尺度感知注意力实际上是对不同尺度的特征层进行加权，使模型根据特征的重要性自适应地融合特征，具体公式如下所示：

30、；

31、其中σ为硬sigmoid函数，f为用1×1卷积代替的全连通层，为hw维的平均池化操作。

32、优选的，在步骤s2所述的对尺度、空间和任务三个不同维度加入自注意机制中，对空间维度加入的自注意机制为空间感知注意力as，空间感知注意力主要包括两个步骤：稀疏采样和特征聚合；首先利用可变形卷积进行稀疏采样，同时在位置上添加偏差，以获得变形特征能力，从而更好地捕捉各种形状的目标；其次，将每一层的特征聚集在同一空间位置，并使用重要性因子m对变形采样位置进行自适应加权；使用重要性系数m进行加权；其具体公式如下所示：

33、；

34、其中k是稀疏采样位置的个数，δpk是可学习的空间偏移量，δmk是位置pk的可学习权值。

35、优选的，在步骤s2所述的对尺度、空间和任务三个不同维度加入自注意机制中，对任务维度加入的自注意机制为任务感知注意力ac，使用称为dyrelu的通道自适应激活函数来实现这一点；首先，通过自适应全局平均池化，消除特征映射的维度l×s，得到长度为c的向量，然后将该向量输入到两个完全连接的层中，得到长度为4c的向量；接下来，根据通道尺寸将该向量划分为4个部分，每个部分包含c个元素，得到4个参数；对于每个特征通道，使用这4个参数来计算dyrelu的输出值；具体公式如下所示：

36、；

37、其中fc表示c-th通道的特征映射，[α1，α2，β1，β2]t=θ(.)是控制激活阈值的函数，最后使用偏移sigmoid函数将输出归一化为[-1,1]。

38、与现有技术相比较，本发明的有益效果在于：该方法包括提出一种有效的图像增强技术，以提高原始图像质量并减少背景干扰，引导图像滤波作为融合框架提供了对缺陷图像的有效增强，并引入了对比度有限自适应直方图均衡和非锐化掩模作为增强图像细节支持的重要组成部分；此外，还引入了mcf模块来融合来自不同尺度缺陷的特征信息，显著增强了模型区分不同尺度特征图的能力；最后，我们将dyhead模块集成到检测头中，以最大限度地减少深度网络中小目标的信息损失，而且将特征金字塔中不同层的特征图调整为中间层特征，即新的三维张量，提高了低分辨率特征对应的感觉场与小目标的尺度之间的匹配度。