基于旋转目标和改进注意力机制的薄膜划痕瑕疵检测方法

本发明属于计算机视觉中的图像处理和模式识别领域，涉及一种基于深度学习的薄膜划痕瑕疵检测方法。

背景技术：

随着对于薄膜的需求量不断地增长，薄膜制造行业加速发展，薄膜生产企业开始采用更宽的幅宽和更快的生产线来提高企业生产效率，然而现代薄膜制造行业的对于薄膜质量的要求也日益严格，越来越多的企业开始关注薄膜制造过程中对薄膜质量的控制。由于制造技术和环境的影响，薄膜表面可能会出现各种瑕疵，其中划痕是一种最常出现的瑕疵，影响薄膜的外观以及质量，给生产企业带来不必要的问题，但由于划痕往往细小、形状不规则以及倾斜角度不固定，检测难度很大，容易漏检并且不容易计算尺寸大小。目前应用的算法多是传统的图像处理方法，并且没有考虑划痕往往有一定的旋转角度的特性，检测精度低。目前尚没有技术方案将旋转目标检测应用于薄膜的瑕疵检测。

近年来随着深度学习在计算机视觉领域的普遍应用以及gpu的迅猛发展，人们将注意力越来越多的转移到深度学习方面，已广泛应用于多种计算机视觉领域，成为当前的主流算法。本发明考虑到薄膜上的划痕瑕疵形状往往不规则，分布位置的不确定性较大，并且存在一定的旋转角度，特征较为复杂，因此采用基于深度学习的旋转目标检测方法用于薄膜划痕瑕疵检测，具有速度更快、检测精确度更高和定位更精准等优点，可以达到工业薄膜瑕疵检测的要求。

技术实现要素：

本发明提供了一种基于旋转目标和改进的注意力机制的薄膜划痕瑕疵检测方法，该方法优化了centernet的网络结构，去除第一个下采样，并对主干网络进行跨层融合，加强了网络对小目标的特征提取，增强细节信息，增加了旋转角度分支对目标的角度进行检测，有效提高薄膜划痕瑕疵检测的准确率。

本发明包括如下步骤：

步骤1、使用工业相机采集薄膜图像，手工标注薄膜瑕疵，得到一个薄膜数据集；

步骤2、在coco大型目标检测数据集上训练centernet网络，得到一个centernet的预训练网络模型；

步骤3、对centernet的预训练网络模型的结构进行修改。在centernet的主干网络resnet50中去除第一个下采样层，增强图像底层细节信息。采用跨层融合将resnet50主干网络的第三模块(layer3)与第四模块(layer4)的输出像素采取相似度加权来对第三模块(layer3)的输出进行增强，再对第三模块(layer3)进行通道维度的注意力操作，与第一模块(layer1)的输出加权增强。使用子像素卷积替代centernet的主干网络之后的上采样层，以解决反卷积的人工痕迹问题。为了对划痕方向进行估算以便对瑕疵进行准确定位，对主干网络的输出增加一个旋转角度分支，对目标的角度进行检测；

步骤4、在薄膜数据集上，将薄膜数据输入修改后的centernet网络，重新训练修改过的网络模型，其中heatmap预测使用focalloss，宽高、中心点偏移和角度预测均使用l1loss，对损失进行融合，设置不同的权重进行加权，即loss＝lhm+λsizelsize+λoffloff+λanglang，其中lhm为heatmap损失，lsize为宽高损失，loff为中心点偏移损失，lang为角度预测损失，λsize为宽高损失权重，λoff为中心点偏移损失权重，λang为角度预测损失权重，权重均取0.1，训练得到新的网络模型，即目标网络模型；

步骤5、将目标网络模型加载到薄膜实时检测系统中，将相机采集的实时薄膜数据载入系统中进行薄膜划痕瑕疵检测。

本发明提供的技术方案的有益效果是：本发明主要针对薄膜划痕瑕疵数据量少，目标较小、特征不明显，导致使用深度学习方法进行识别检测的难度大大提升。本发明提出的优化结构在centernet网络的主干网络部分进行修改，在centernet主干网络中减少一次下采样操作，使其对细节特征更加敏感，使用注意力模块对特征中需要重点关注的特征及进行加权，对跨层特征进行融合，使网络提取特征更完整丰富，增加了特征的表现力，更适合于本发明所提出的对薄膜划痕瑕疵的检测。通过增加对划痕瑕疵的旋转角度预测分支，对长宽比较大的目标检测更加收敛，提高对于薄膜划痕瑕疵检测。

附图说明

图1为本发明瑕疵检测流程示意图；

图2为本发明改进的检测网络示意图。

具体实施方式

为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。

本发明提供一种旋转目标和基于改进的注意力机制的薄膜瑕疵检测的方法。薄膜检测系统的工作流程如图1所示，其步骤如下：

(1)薄膜检测系统实时读取薄膜图像；

(2)薄膜图像输入网络模型中进行前向推理；

(3)进入网络判断薄膜图像中是否存在瑕疵，如果有瑕疵则进入步骤(4)，否则进入步骤(5)；

(4)检测系统对瑕疵进行标注，并提示该图像存在瑕疵；

(5)是否还有未读取的图像，如果有回到步骤(1)，否则结束此次检测。

其中的网络模型由以下方式得到：

步骤1、使用工业相机采集薄膜图像，手工标注薄膜瑕疵，得到一个薄膜数据集；

步骤2、在coco大型目标检测数据集上训练centernet网络，得到一个centernet的预训练网络模型；

步骤3、对centernet的预训练网络模型的结构进行修改，具体见图2。在centernet的主干网络resnet50中去除第一个下采样层，增强图像底层细节信息。对resnet50主干网络的layer3与layer4的输出像素进行跨层融合，采取相似度加权来对layer3的输出进行增强，融合全局信息并且突出特征图中需要关注的区域，同时不增加过多计算量，保持检测速度。再对layer3的融合结果进行通道维度的注意力操作，对layer1进行加权增强。使用子像素卷积替代centernet的主干网络之后的上采样层，保护数据的细节信息不受干扰，解决反卷积的人工痕迹问题。对主干网络的输出增加一个旋转角度分支，对目标的角度进行检测；

步骤4、在薄膜数据集上，将薄膜数据输入修改后的centernet网络，重新训练修改过的网络模型，heatmap预测使用focalloss，宽高、中心点偏移和角度预测均使用l1loss，对损失进行融合，设置不同的权重进行加权，即loss＝lhm+λsizelsize+λoffloff+λanglang，其中lhm为heatmap损失，lsize为宽高损失，loff为中心点偏移损失，lang为角度预测损失，λsize为宽高损失权重，λoff为中心点偏移损失权重，λang为角度预测损失权重，权重均取0.1，训练得到新的网络模型，即目标网络模型；

其中改进centernet网络模型的结构，按如下步骤处理改进网络结构中的特征：

(1)输入图像x首先通过centernet的主干网络，在主干网络resnet50中主要分为4个layer模块对图像进行特征提取，改进部分将layer2中的残差边去除，同时将卷积核步长改为1，使layer2模块中不进行下采样，图像x在经过4个layer特征提取模块后按顺序得到像素矩阵x1，x2，x3，x4。

(2)对像素矩阵x3使用3×3的卷积操作进行下采样得到像素矩阵x3’，使像素矩阵x3’和像素矩阵x4特征尺寸相同，通过将像素矩阵x3’和像素矩阵x4进行相似度计算，得到权重；使用softmax函数对权重归一化，将权重和像素矩阵x3进行加权求和得到x’，对像素矩阵x1使用5×5的卷积操作进行下采样得到x1’，在x’上进行通道注意力操作与x1’加权得到主干网络最后的输出x”：

其中f^1×1(·)代表1×1的卷积操作。

(3)使用子像素卷积代替反卷积进行上采样，通过两个卷积层处理特征图像，为每个输出通道得到r²个特征通道，r为上采样倍数，将每个像素的r²个通道的低分辨率特征周期性地重新排列成一个r×r区域，得到高分辨率的图像：

i＝ps(f(x”))

其中ps为周期性像素排列，将h×w×c·r²重新排列为rh×rw×c：

(4)将通过子像素卷积上采样后的结果送入四个分支分别使用3×3卷积和1×1卷积进行预测，预测heatmap、预测宽高尺寸、预测中心点偏移量和预测目标旋转角度。