一种基于深度学习的两阶段光伏板缺陷检测方法与流程

1.本发明属于图像识别技术领域，具体涉及一种基于深度学习的两阶段光伏板缺陷检测方法。


背景技术：

2.由于现有大型光伏电站往往安装在比较恶劣的环境中，因而会导致太阳能光伏板出现裂痕、热斑等缺陷发生。光伏板在工作时，单体电池由于遮光或者本身原因导致电流降低，当工作电流超过该单体电池电流时，则该部分电池处于反向偏置状态，在电路中的功能由电源变成负载，消耗能量，从而在光伏板内部形成局部过热现象，产生热斑。外界环境的影响可能会导致裂痕的大面积产生，裂痕会使整块光伏板发热严重。热斑和裂痕的出现会严重的影响发热效率，甚至可能造成极大的危害，引起巨大的经济损失。因此，太阳能光伏板的缺陷检测在当今高速发展新能源的背景下显得尤为重要。
3.目前，针对光伏板缺陷传统的检测方法主要应用红外热成像仪对光伏板进行探测，这种方法对拍摄回来的照片进行筛选和排查主要采用手动提取特征，由于实际应用中采集的红外图像没有明显的边缘特征，对远距离大范围的光伏阵列识别度较低，导致肉眼识别难度较大且工作量大。
4.近年来，随着深度学习图像处理的不断创新，为快速诊断光伏热故障提供了极大可能。例如中国专利cn202110240268.2公开了一种基于深度神经网络的光伏板缺陷检测方法，包括以下步骤：(1)采集光伏板图像样本，制作光伏板缺陷检测模型训练集；(2)利用训练集训练光伏板缺陷检测模型；(3)输入待检测光伏板图像样本；(4)使用特征提取网络得到输入图像的抽象卷积特征；(5)将不同尺度的卷积特征图分别输入到不同的区域生成网络，得到锚框的位置修正坐标偏移量和每个候选框中包含缺陷区域的置信度；(6)利用阈值分割和非极大值抑制过滤候选框；(7)将每个候选框对应的特征图区域输入到感兴趣区域池化层和回归网络，得到候选框的坐标修正偏移量，并计算得到检测框；(8)输出最终检测结果；该方法虽然能够有效检测光伏板的缺陷区域，但是检测精确识别度较低。
5.鉴于此，本发明提出了一种基于深度学习的两阶段光伏板缺陷检测方法。


技术实现要素：

6.本发明的目的在于提供一种基于深度学习的两阶段光伏板缺陷检测方法，以解决现有方法人工排查工作量大及检测结果识别精度低的问题。
7.为实现上述目的，本发明提供如下技术方案：
8.一种基于深度学习的两阶段光伏板缺陷检测方法，包括以下步骤：
9.s1、采集原始光伏板图像，制作样本数据集；
10.s2、对样本数据集进行划分，构建训练样本集、测试样本集和验证样本集；
11.s3、将样本数据集进行数据增强预处理；
12.s4、利用增强处理后的训练样本集和验证样本集对目标检测yolov5网络模型进行
训练；
13.其中，所述目标检测yolov5网络模型包含前景提取模型和缺陷检测模型，且前景提取模型的输出为缺陷检测模型的输入；
14.s5、将增强处理后的测试样本集输入训练好的目标检测yolov5网络模型中，经前景提取阶段和缺陷检测阶段检测输出，获得缺陷检测结果。
15.优选的，步骤s1中，所述采集原始光伏板图像，制作样本数据集，包括以下步骤：
16.s11、应用无人机及搭载的红外光谱相机对太阳能光伏板进行拍摄，采集太阳能光伏板的原始红外图像；
17.s12、对采集的原始红外图像进行标注，使用不同的标签对小单元板和缺陷进行标注，生成包含标注信息的.xml文档；
18.s13、将生成的包含标注信息的.xml文档和原始红外图像绑定保存在txt文件中，作为样本数据集。
19.优选地，步骤s3中，所述数据增强预处理采用mosaic数据增强方法，通过对标注完的红外图像进行随机缩放、排布、裁剪拼接来扩充样本数据集。
20.优选的，步骤s4中，所述利用增强处理后的训练样本集和验证样本集对目标检测yolov5网络模型进行训练，具体步骤为：将增强处理后的训练样本集输入目标检测yolov5网络模型中，依次对前景提取模型和缺陷检测模型进行迭代训练，保存训练好的网络参数；使用验证样本集对训练后的前景提取模型和缺陷检测模型进行参数调整，得到前景提取yolov5模型和缺陷检测yolov5模型。
21.优选的，步骤s5中，所述前景提取阶段检测的具体步骤为：将增强处理后的测试样本集输入前景提取yolov5模型中，输出小单元板的坐标信息，然后根据输出的坐标信息将原始光伏板图像分成若干张小单元板的图片和txt文件；
22.所述缺陷检测阶段的具体步骤为：将前景提取yolov5模型输出的小单元板图像输入缺陷检测yolov5模型中，输出候选框，然后使用最大值抑制算法对候选框进行筛选，获得最终缺陷检测结果，并将缺陷检测结果标注在原始光伏板图像中。
23.优选地，步骤s4中，所述目标检测yolov5网络模型通过对现有yolov5网络模型优化得到，具体包括以下步骤：
24.s41、获取现有yolov5网络模型的损失函数；
25.s42、在现有yolov5网络模型的损失函数中加入正则化函数，计算总损失函数；
26.s43、更新现有yolov5网络参数以减小总损失函数，不断迭代此过程直至网络收敛，得到目标检测yolov5网络模型。
27.优选地，所述现有yolov5网络模型的损失函数lz由分类损失函数l
class
和回归损失函数l
ciou
加和得到，即lz＝l
class
+l
ciou
。
28.所述总损失函数l
total
的计算公式为：
29.l
total
＝lz+αl
msl
30.其中，正则化函数l
msl
的计算公式为：
31.32.与现有技术相比，本发明有益效果如下：
33.(1)本发明通过采用损失函数和正则化函数相结合的方式约束总损失函数，优化yolov5网络模型去探索多尺度特征图间的关系，能够增强多尺度特征图之间的信息交流，提高yolov5网络模型对多尺度缺陷的检测性能。
34.(2)相比于传统的人工排查方法，本发明通过前景提取阶段和缺陷检测阶段两个阶段进行光伏板缺陷检测，能够大大提高检测结果的识别精度与检测效率。
附图说明
35.图1为本发明提出的一种基于深度学习的两阶段光伏板缺陷检测方法的流程图；
36.图2为本发明实施例中光伏板缺陷检测阶段的框架图；
37.图3为本发明实施例中目标检测yolov5网络模型的结构示意图。
具体实施方式
38.下面将结合本发明实施例及附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
39.下面结合图1-图3，描述本发明提供的一种基于深度学习的两阶段光伏板缺陷检测方法。
40.一种基于深度学习的两阶段光伏板缺陷检测方法，包括以下步骤：
41.s1、采集原始光伏板图像，制作样本数据集；
42.具体地，包括以下步骤：
43.s11、应用无人机及搭载的红外光谱相机对太阳能光伏板进行拍摄，采集太阳能光伏板的原始红外图像；
44.s12、对采集的原始红外图像采用标注软件进行标注，使用不同的标签对小单元板和缺陷进行标注，生成包含标注信息的.xml文档；
45.由于深度学习目标检测算法需要大量的标记数据，所以在训练之前需要对采集的红外图像进行标注，标注过程为：将采集的红外图像输入图像标注软件中，对每张红外图像设定不同的标签进行标注，标注过程中先使用方框将小单元板和缺陷分别框出，然后使用不同的标签对小单元板和缺陷进行标注，标注完成后，生成包含标注信息的.xml文档，每个文档中的标注信息均包含4个位置属性和1个类别属性，4个位置属性分别是标注框中心点位置的横坐标xi、纵坐标yi、标注框的宽度wi与标注框的高度h，类别属性ki代表标签的状态信息，标注可描述为(xi,yi,wi,hi,ki)。
46.s13、将生成包含标注信息的.xml文档和原始红外图像绑定保存在txt文件中，作为样本数据集。
47.s2、对样本数据集进行划分，构建训练样本集、测试样本集和验证样本集；
48.具体地，本实施例将样本数据集按7：2：1的比例进行划分(划分比例不作特别限定)，得到训练样本集，验证样本集和测试样本集，其中，训练样本集用于训练目标检测yolov5网络模型，验证样本集用于训练过程验证目标检测yolov5网络模型的检测效果，并根据检测效果调整目标检测yolov5网络模型的超参数，测试样本集用于最后训练好的目标检测yolov5网络模型的效果测试；
49.s3、对样本数据集进行数据增强预处理。
50.具体地，对样本数据集采用mosaic数据增强方法进行预处理，通过对标注完的红外图像进行随机缩放、排布、裁剪拼接来扩充样本数据集，进而可增强网络模型的泛化性，确保检测结果的准确性；
51.s4、利用增强处理后的训练样本集和验证样本集对目标检测yolov5网络模型进行训练；
52.其中，目标检测yolov5网络模型包含前景提取模型和缺陷检测模型，且前景提取模型的输出为缺陷检测模型的输入；
53.具体地，将增强处理后的训练样本集输入目标检测yolov5网络模型中，依次对前景提取模型和缺陷检测模型进行迭代训练，保存训练好的网络参数，然后使用验证样本集对训练后的前景提取模型和缺陷检测模型进行参数调整，最终得到前景提取yolov5模型和缺陷检测yolov5模型。由于前景提取模型和缺陷检测模型两者训练步骤基本相同，不同之处仅在于前景提取模型输入项为小单元板标签信息，缺陷检测模型输入项为缺陷标签信息，故这里不作区别赘述。
54.训练步骤为：将增强后的训练样本集输入目标检测yolov5网络模型的backbone网络中，参照图2，为backbone网络结构的示意图，该backbone网络的结构主要由cbl模块、csp模块、focus模块和spp模块构建而成，其中cbl模块为卷积操作、batch normalization正则化和leaky relu激活连续排列组成，csp模块为将两个支路的图像特征图使用cocat操作拼接在一起，然后接cbl模块，focus模块为将特征图使用slice切片操作分成4个支路然后拼接在一起，然后接cbl模块，spp模块为将特征图分成3个支路，其中两个支路使用最大池化操作，然后cocat拼接在一起，然后接cbl模块。
55.经过backbone网络处理后，分别由3个csp模块输出3个尺寸的特征图，特征图的尺寸分别为75*75*c、38*38*c、19*19*c。其中，c表示每个网格单元(网格单元即特征图的尺寸)预测3个box，故每个box(x，y，w，h，confidence)需要5个基本参数，其中，x、y、w、h表示预测框相对于预先设计的anchor的偏移量，anchor坐标加上偏移量即为预测的缺陷框的大小和位置，confidence表示预测框的可信度，然后还有n个缺陷类别的概率(前景提取模型只有一个类)，所以3*(5+n)＝c，其中，不同尺寸的特征图进行不同尺寸的缺陷的预测，尺寸的标准由anchor的大小决定。
56.具体地，目标检测yolov5网络模型通过对现有yolov5网络模型优化得到，包括以下步骤：
57.s41、获取现有yolov5网络模型的损失函数；
58.本实施例中，现有yolov5网络模型的损失函数由classificition loss(分类损失函数)和bounding box regeression loss(回归损失函数)加和得到，即lz＝l
class
+l
ciou
；
59.其中,分类损失为交叉熵损失，分类损失函数l
class
的计算公式为：
[0060][0061]
式中，y
i,k
为实际的缺陷类别，φ
i,k
为预测的缺陷类别。
[0062]
回归损失函数为ciou loss，其计算公式为：
[0063][0064]
式中，iou为预测框与实际框的相交域，计算公式为：
[0065][0066]
式中，b
gt
＝(x
gt
,y
gt
,w
gt
,h
gt
)为实际框，b＝(x,y,w,h)为预测框，为预测框b和实际框b
gt
的惩罚项，b和b
gt
分别表示b和b
gt
的中心点，ρ(
·
)为欧几里得距离，c为覆盖两个盒子的最小封闭盒子的对角线长度，最终得到现有yolov5网络模型的损失函数lz。
[0067]
s42、在现有yolov5网络模型的损失函数中加入正则化函数，计算总损失函数；
[0068]
具体地，由于太阳能光伏板的缺陷尺寸不规则，多种尺寸的缺陷共存，其中yolov5网络模型会生成3种尺寸预测特征图，而多尺寸特征图之间缺乏信息的交流，为了增强现有yolov5网络模型中backbone网络的多尺度缺陷的检测性能，本实施例在上述所得损失函数上添加一个正则化函数，该正则化函数的计算公式为：
[0069][0070]
通过将现有yolov5网络模型中3个尺寸的特征图，使用矩阵操作，转换为一维向量，并分别定义为p1、p2、p3，且每两个特征图使用kl散度进行相关性计算，然后将得到的3个kl散度的值作为正则项对总损失函数进行约束，总损失函数l
total
的计算公式为：
[0071]
l
total
＝lz+αl
msl
。
[0072]
通过对总损失函数l
total
进行约束，能够增强多尺度特征图之间的信息交流，进而增强yolov5网络模型的多尺度缺陷的检测性能。
[0073]
s43、更新现有yolov5网络参数以减小总损失函数，不断迭代此过程直至网络收敛，得到目标检测yolov5网络模型。
[0074]
s5、将增强处理后的测试样本集输入训练好的目标检测yolov5网络模型中，经前景提取阶段和缺陷检测阶段检测输出，获得缺陷检测结果。
[0075]
具体地，将增强处理后的测试样本集输入训练好的目标检测yolov5网络模型中进行缺陷检测，检测分为两个阶段，分别为前景提取阶段和缺陷检测阶段；
[0076]
(1)前景提取阶段：将增强处理后的测试样本集输入前景提取yolov5模型中，输出小单元板的坐标信息，使用opencv根据输出的坐标信息将原始光伏板图像分成若干张小单元板的图片和txt文件；
[0077]
(2)缺陷检测阶段：将前景提取yolov5模型输出的小单元板图像输入缺陷检测yolov5模型中，输出候选框，然后使用最大值抑制算法，对候选框进行筛选，获得最终缺陷检测结果，并将缺陷检测结果标注在原始光伏板图像中。
[0078]
综上，相比于传统的人工排查方法，本发明通过前景提取阶段和缺陷检测阶段两个阶段进行缺陷检测，能够大大提高检测结果的识别精准度和检测效率。另外，本发明通过
采用损失函数和正则化函数相结合的方式约束总损失函数，优化现有yolov5网络模型去探索多尺度特征图间的关系，增强了多尺度特征图之间的信息交流，进而提高了网络对多尺度缺陷的检测性能。
[0079]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其改进构思加以等同替换或改变，都应涵盖在本发明的保护范围内。