一种偏光片外观缺陷实时检测方法

1.本发明涉及偏光片外观缺陷检测技术，具体是一种偏光片外观缺陷实时检测方法。


背景技术：

2.偏光片是一种常见的偏振光学元件，其广泛应用于液晶显示器及各类成像设备和仪器。偏光片在生产与运输过程中，不可避免地会形成脏污、划痕、气泡等外观缺陷，由此影响偏光片的使用性能和质量。因此，为了保证偏光片的使用性能和质量，需要进行偏光片外观缺陷检测。
3.随着人工智能技术的发展，基于深度学习的偏光片外观缺陷检测方法因其具有检测精度高的优点，已经成为偏光片外观缺陷检测的主流方法。但是此种方法由于自身原理所限，仍然存在检测速度慢的问题，由此导致检测实时性差。基于此，有必要发明一种偏光片外观缺陷实时检测方法，以解决现有偏光片外观缺陷检测方法检测实时性差的问题。


技术实现要素：

4.本发明为了解决现有偏光片外观缺陷检测方法检测实时性差的问题，提供了一种偏光片外观缺陷实时检测方法。
5.本发明是采用如下技术方案实现的：
6.一种偏光片外观缺陷实时检测方法，该方法是采用如下步骤实现的：
7.步骤一：先利用摄像头拍摄偏光片图片，再对所拍摄的偏光片图片进行数据扩充，由此得到偏光片数据集；所述偏光片数据集包括训练集、验证集、测试集、偏光片原始大图；
8.步骤二：对yolov4-tiny网络模型的骨干网络和csp block模块进行改进，由此得到yolov4-tiny-c网络模型；
9.步骤三：先利用偏光片数据集中的训练集来训练yolov4-tiny-c网络模型，再利用偏光片数据集中的测试集来测试yolov4-tiny-c网络模型的检测精度，并输出预测图；
10.步骤四：利用模型剪枝技术对yolov4-tiny-c网络模型进行剪枝操作，由此得到pruning-yolov4-tiny-c网络模型；
11.步骤五：先编写图像分割脚本，再利用图像分割脚本将偏光片数据集中的偏光片原始大图分割为偏光片小图，然后将偏光片小图输入到pruning-yolov4-tiny-c网络模型进行缺陷检测，而后将带有检测信息的偏光片小图重新组合为偏光片原始大图进行输出和保存。
12.所述步骤一中，所拍摄的偏光片图片包括500张无缺陷图片和1100张带有缺陷特征的图片，所述偏光片数据集包括由3000张分辨率为200
×
200且带有缺陷特征的图片构成的训练集、由600张分辨率为200
×
200且带有缺陷特征的图片构成的验证集、由200张分辨率为200
×
200且带有缺陷特征的图片构成的测试集、32张分辨率为4096
×
3796的偏光片原始大图。
13.所述步骤一中，所述缺陷特征包括脏污、划痕、气泡。
14.所述步骤二中，改进步骤具体如下：
15.首先，在yolov4-tiny网络模型的第一层卷积层之前增加一层conv3
×
3，用于对输入图片进行卷积操作以提取更丰富的特征，增强网络的非线性表达能力；
16.其次，在第一次cbl降采样之后，增加conv1
×
1+conv3
×
3卷积层组合，用于进一步提升网络深度，增强提取特征能力；conv1
×
1+conv3
×
3卷积层组合模式参考了dense block模块进行特征融合，使得输出的特征图通道数增加到64，和第6层的特征图大小一致；
17.然后，在原csp block结构中右侧支路cnov1
×
1操作之后加入一层conv3
×
3，用于增大有效感受野以丰富上下文信息；
18.最后，利用k-means++聚类算法，根据聚类中心和数据框分布重新生成6组anchor锚框参数值[(28,22),(33,57),(75,40),(40,105),(100,87),(141,153)]，用于缺陷检测算法训练，防止出现大量漏检和误检情况。
[0019]
所述步骤三中，在训练yolov4-tiny-c网络模型之前，对.cfg文件中的超参数进行如下设置：
①
最大迭代次数设置为5万次；
②
采用分布策略设置学习率：初始学习率设置为0.0261，前3万次学习率保持为0.0261，3～4.2万次学习率衰减0.1倍，4.2～5万次学习率衰减0.1倍；
③
记忆因子设置为0.9，权重衰减项设置为0.005，批量训练尺度设置为128。
[0020]
所述步骤四中，剪枝操作步骤具体如下：
[0021]
首先，在yolov4-tiny-c网络模型基础上进行稀疏训练，计算yolov4-tiny-c网络模型中不同通道对预测结果的贡献作为尺度因子；
[0022]
稀疏训练完成后，按尺度因子对yolov4-tiny-c网络模型中的所有通道进行排序，按比例删除尺度因子较小的通道，生成剪枝后的yolov4-tiny-c网络模型；
[0023]
最后，对剪枝后的yolov4-tiny-c网络模型进行微调，得到pruning-yolov4-tiny-c网络模型。
[0024]
所述步骤四中，在进行稀疏训练时，yolov4-tiny-c网络模型结构中只有yolo层的输入卷积层不存在bn层，其它各种卷积层都有bn层的存在，其计算公式为：
[0025][0026]
式中：andσ2设定为同一个batch的均值和方差，γandβ分别是训练缩放比例(trainable scale factor)和偏置(bias)；直接使用γ来衡量通道的重要性，γ的重要性使用l1回归来衡量，sparsity training的目标公式为：
[0027]
l＝loss
yolo
+α∑
y∈τ
f(γ)；
[0028]
表示l1回归，用于平衡两个loss，用负梯度方法对非光滑l1惩罚项进行优化，值大小设定为0.0001；
[0029]
稀疏训练完成后，通过代入全局阈值来完成待剪通道的选择，使用全局阈值控制所有最高剪裁值；同时，为了避免某个卷积层内的通道被过度剪枝，引入局部阈值来完整保留网络的连接结构；全局阈值设置为0.7，局部阈值设置为0.3。
[0030]
所述步骤五中，在进行缺陷检测时，图片输入至pruning-yolov4-tiny-c网络模型后首先被分为s
×
s个小格，每个小格均能够表示先验锚框的局部坐标，网络预测的坐标偏移量、物体置信度和类别置信度得分均可以在这些小格内训练并计算得出；nms算法可以计
算出对所有锚框中最优边界框类别和坐标；
[0031]
损失函数如下式所示：
[0032]
loss＝l
xywh
+l
confidence
+l
classes
；
[0033][0034][0035][0036]
式中：l
xywh
为预测框与真实框的中心点和宽高误差之和，λcoord为坐标系数，l
confidence
为目标置信度误差，λ
obj
和λ
noobj
分别为有物体和无物体的置信度系数；l
classes
为目标分类损失，表示为第i个网格的第j个锚框的匹配情况。
[0037]
所述步骤五中，所述检测信息包括缺陷标签信息和缺陷位置信息。
[0038]
与现有偏光片外观缺陷检测方法相比，本发明所述的一种偏光片外观缺陷实时检测方法通过采用全新原理，实现了偏光片外观缺陷检测，由此具备了如下优点：其一，本发明一方面通过对yolov4-tiny网络模型的骨干网络和csp block模块进行改进，另一方面通过训练yolov4-tiny-c网络模型，具备了检测精度高的优点(实验表明，检测三种外观缺陷的平均正确率为98.28％)。其二，本发明一方面通过对yolov4-tiny-c网络模型进行剪枝操作，另一方面通过将偏光片原始大图分割为偏光片小图，具备了检测速度快的优点(实验表明，在普通cpu上的检测速度可达到1张/s，在gpu上的检测速度可达到3张/s)，由此具备了检测实时性强的优点。
[0039]
本发明有效解决了现有偏光片外观缺陷检测方法检测实时性差的问题，适用于偏光片外观缺陷检测。
附图说明
[0040]
图1是本发明中偏光片数据集的示意图。
[0041]
图2是本发明中yolov4-tiny-c网络模型的示意图。
[0042]
图3是本发明中yolov4-tiny-c网络模型的csp block模块的示意图。
具体实施方式
[0043]
一种偏光片外观缺陷实时检测方法，该方法是采用如下步骤实现的：
[0044]
步骤一：先利用摄像头拍摄偏光片图片，再对所拍摄的偏光片图片进行数据扩充，由此得到偏光片数据集；所述偏光片数据集包括训练集、验证集、测试集、偏光片原始大图；
[0045]
步骤二：对yolov4-tiny网络模型的骨干网络和csp block模块进行改进，由此得到yolov4-tiny-c网络模型；
[0046]
步骤三：先利用偏光片数据集中的训练集来训练yolov4-tiny-c网络模型，再利用偏光片数据集中的测试集来测试yolov4-tiny-c网络模型的检测精度，并输出预测图；
[0047]
步骤四：利用模型剪枝技术对yolov4-tiny-c网络模型进行剪枝操作，由此得到
pruning-yolov4-tiny-c网络模型；
[0048]
步骤五：先编写图像分割脚本，再利用图像分割脚本将偏光片数据集中的偏光片原始大图分割为偏光片小图，然后将偏光片小图输入到pruning-yolov4-tiny-c网络模型进行缺陷检测，而后将带有检测信息的偏光片小图重新组合为偏光片原始大图进行输出和保存。
[0049]
所述步骤一中，所拍摄的偏光片图片包括500张无缺陷图片和1100张带有缺陷特征的图片，所述偏光片数据集包括由3000张分辨率为200
×
200且带有缺陷特征的图片构成的训练集、由600张分辨率为200
×
200且带有缺陷特征的图片构成的验证集、由200张分辨率为200
×
200且带有缺陷特征的图片构成的测试集、32张分辨率为4096
×
3796的偏光片原始大图。
[0050]
所述步骤一中，所述缺陷特征包括脏污、划痕、气泡。
[0051]
所述步骤二中，改进步骤具体如下：
[0052]
首先，在yolov4-tiny网络模型的第一层卷积层之前增加一层conv3
×
3，用于对输入图片进行卷积操作以提取更丰富的特征，增强网络的非线性表达能力；
[0053]
其次，在第一次cbl降采样之后，增加conv1
×
1+conv3
×
3卷积层组合，用于进一步提升网络深度，增强提取特征能力；conv1
×
1+conv3
×
3卷积层组合模式参考了dense block模块进行特征融合，使得输出的特征图通道数增加到64，和第6层的特征图大小一致；
[0054]
然后，在原csp block结构中右侧支路cnov1
×
1操作之后加入一层conv3
×
3，用于增大有效感受野以丰富上下文信息；
[0055]
最后，利用k-means++聚类算法，根据聚类中心和数据框分布重新生成6组anchor锚框参数值[(28,22),(33,57),(75,40),(40,105),(100,87),(141,153)]，用于缺陷检测算法训练，防止出现大量漏检和误检情况。
[0056]
所述步骤三中，在训练yolov4-tiny-c网络模型之前，对.cfg文件中的超参数进行如下设置：
①
最大迭代次数设置为5万次；
②
采用分布策略设置学习率：初始学习率设置为0.0261，前3万次学习率保持为0.0261，3～4.2万次学习率衰减0.1倍，4.2～5万次学习率衰减0.1倍；
③
记忆因子设置为0.9，权重衰减项设置为0.005，批量训练尺度设置为128。
[0057]
所述步骤四中，剪枝操作步骤具体如下：
[0058]
首先，在yolov4-tiny-c网络模型基础上进行稀疏训练，计算yolov4-tiny-c网络模型中不同通道对预测结果的贡献作为尺度因子；
[0059]
稀疏训练完成后，按尺度因子对yolov4-tiny-c网络模型中的所有通道进行排序，按比例删除尺度因子较小的通道，生成剪枝后的yolov4-tiny-c网络模型；
[0060]
最后，对剪枝后的yolov4-tiny-c网络模型进行微调，得到pruning-yolov4-tiny-c网络模型。
[0061]
所述步骤四中，在进行稀疏训练时，yolov4-tiny-c网络模型结构中只有yolo层的输入卷积层不存在bn层，其它各种卷积层都有bn层的存在，其计算公式为：
[0062][0063]
式中：andσ2设定为同一个batch的均值和方差，γandβ分别是训练缩放比例(trainable scale factor)和偏置(bias)；直接使用γ来衡量通道的重要性，γ的重要性
使用l1回归来衡量，sparsity training的目标公式为：
[0064]
l＝loss
yolo
+α∑
y∈τ
f(γ)；
[0065]
表示l1回归，用于平衡两个loss，用负梯度方法对非光滑l1惩罚项进行优化，值大小设定为0.0001；
[0066]
稀疏训练完成后，通过代入全局阈值来完成待剪通道的选择，使用全局阈值控制所有最高剪裁值；同时，为了避免某个卷积层内的通道被过度剪枝，引入局部阈值来完整保留网络的连接结构；全局阈值设置为0.7，局部阈值设置为0.3。
[0067]
所述步骤五中，在进行缺陷检测时，图片输入至pruning-yolov4-tiny-c网络模型后首先被分为s
×
s个小格，每个小格均能够表示先验锚框的局部坐标，网络预测的坐标偏移量、物体置信度和类别置信度得分均可以在这些小格内训练并计算得出；nms算法可以计算出对所有锚框中最优边界框类别和坐标；
[0068]
损失函数如下式所示：
[0069]
loss＝l
xywh
+l
confidence
+l
classes
；
[0070][0071][0072][0073]
式中：l
xywh
为预测框与真实框的中心点和宽高误差之和，λcoord为坐标系数，l
confidence
为目标置信度误差，λ
obj
和λ
noobj
分别为有物体和无物体的置信度系数；l
classes
为目标分类损失，表示为第i个网格的第j个锚框的匹配情况。
[0074]
所述步骤五中，所述检测信息包括缺陷标签信息和缺陷位置信息。
[0075]
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式作出多种变更或修改，但这些变更和修改均落入本发明的保护范围。