一种基于改进U-NET和HSV的光伏阵列红外图像热斑检测方法与流程

本发明涉及碳排放，具体涉及一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法。

背景技术：

1、光伏系统的实际运行中，发电效率是影响并网运行和电站效益的重要影响因素，而光伏组件在运行中的缺陷率直接影响发电效率。光伏组件的常见故障包括碎裂、遮挡、灰尘、蜗牛纹、褪色、腐蚀、热斑、接线盒故障、短路等，这些故障会减少光伏组件的寿命、可靠性以及光电转换效率，甚至局部烧毁电池、融化焊点，炸裂盖板玻璃，因此精确识别光伏系统中的故障对于光伏电站的高效经济运行至关重要。

2、由于光伏组件广泛分布于条件恶劣且难以企及的环境，传统人工方式巡检在巡检频次、巡检质量与巡检安全上都难以达到预期目标，存在巡检指标不能量化、巡检结果不能追溯跟踪与设备劣化分析不到位等问题。近些年来，越来越多的光伏电站以及光伏设备厂家都在无人机智能巡检方向进行了尝试。

3、如中国专利cn114299033a，公开日2022年04月08日，本发明涉及一种基于yolov5的光伏板红外图像热斑检测方法及系统，其方法包括：s1：使用无人机获取生产运行中的光伏组件红外图像，得到原始数据集；s2：提取原始数据集中图像进行预处理得到光伏组件热斑数据集；s3：构建改进yolov5模型，使用训练集对其进行训练以及使用测试集对其进行测试，选取其中检测精度最高的模型作为训练好的改进yolov5模型；s4：使用训练好的改进yolov5模型对待检测的光伏组件图像进行检测，在对输出的检测框处理后，输出光伏组件类别信息。本发明提供的方法，提高了光伏板热斑检测的准确性，有效地区分长条形热斑缺陷与小型热斑。然而本发明所提出的方法是针对光伏阵列原始rgb图像，运用神经网络直接对热斑进行检测，原始图像中复杂的背景环境、rgb图像易受光照影响等原因均会导致检测的准确性。

技术实现思路

1、本发明要解决的技术问题是：现有的技术故障检测精度不高的技术问题。提出了一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，有效避免不利因素的干扰，提高故障检测的精度。

2、为解决上述技术问题，本发明所采取的技术方案为：一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，包括如下步骤：

3、s1：采集光伏阵列图像，构建训练数据集和测试数据集；

4、s2：基于改进u-net网络模型，对图像进行分割；

5、s3：将分割得到的二值化图像进行还原；

6、s4：将还原后的图像从rgb图像转换为hsv图像；

7、s5：分析得到的hsv图像，根据图像特征对缺陷进行分类。

8、一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，首先，通过无人机采集光伏阵列图像，通过这些图像数据，构建训练数据集和测试数据集，接着基于改进u-net网络模型，对图像进行分割，获得相对完整的光伏阵列，然后将切割后的图像还原并从rgb图像转换为hsv图像，从而获得亮点分割图像，最后根据亮点分割图像计算平均灰度值和像素点数，根据计算所得的平均灰度值和像素点数，判断缺陷类型。

9、作为优选，所述步骤s2中的改进u-net网络模型包括27层卷积层，所述改进u-net网络模型包括23层3×3卷积层，所述3×3卷积层的步长为1，所述改进u-net网络模型包括relu的激活函数和2×2的最大池化层，所述2×2的最大池化层的步长为2，所述改进u-net网络模型的底层网络后添加了dropout层。u-net网络是一个分布在编码和解码两侧的网络结构，左编码用于提取图像特征，右解码用于恢复图像特征边缘信息，在底层网络后添加dropout层，提高数据的泛化能力，降低过拟合的概率。

10、作为优选，所述步骤s4中通过将自适应阈值化后的子图像与分割后的红外图像相乘，得到仅包含光伏板的图像，公式如下所示：

11、

12、其中：result是最终结果，c(i，j)是根据自适应阈值分割的结果合成的三通道图像，i(i，j)是分割后的红外图像。将自适应阈值化后的子图像与分割后的红外图像相乘，仅包含光伏板的图像，保证后续的热斑检测。

13、作为优选，所述步骤s5从得到的hsv图像中获取各区域的rgb值和灰度值的分布情况；根据得到的rgb值和灰度值的分布情况，计算平均灰度值和像素点数；根据最后得到的平均灰度值和像素点数判断缺陷的类型。将图像引入概览界面，然后使用像素区域来移动和选择目标区域，最后显示目标区域内的平均灰度值和像素点数，根据这些平均灰度值和像素点数就可以判断出缺陷的类型。

14、作为优选，所述步骤s5中计算平均灰度值和像素点数的公式如下所示：

15、

16、其中：ag是图像的平均灰度值，grey(i，j)是具有坐标(i，j)的像素的灰度值，n是数量，nd是灰度值在100和200之间的像素的数量，ng是灰度值大于200的像素的数量。根据上述公式可以更加直观的判断缺陷的类型，当ag小于150，nd大于ng时，可以认为亮点主要是由灰尘引起的，否则，热点大多是由绿色植物引起的。

17、作为优选，在进行所述步骤s5时，需要对所述步骤s4中获得的亮点图像进行灰度化处理。灰度化处理后的图像更加容易进行缺陷类型的判断。

18、作为优选,所述步骤s3通过rgb2hsv函数将分割后获得的红外图像从rgb图像转换为hsv图像。通过rgb2hsv函数可以实现rgb图像与hsv图像之间的转换。

19、作为优选，所述改进u-net网络模型进行模型训练过程中，图像大小发生改变，根据亮点质心计算公式获得亮点质心坐标，计算公式如下所示：

20、

21、其中：(x，y)是标签的像素点坐标，(x0，y0)是计算的像素点坐标，a×b是实验中红外图像的原始像素大小，a×b是采集的光伏阵列图像图像大小。u-net网络训练过程中，图像的大小发生了变化，可以通过使用形态学开放操作来获得连接区域和标记点的质心坐标。

22、作为优选，所述步骤s1中通过labelme对采集得到的光伏阵列图像进行处理，获得所需的红外图像，利用这些红外图像构建训练数据集和测试数据集。将采集到的图像数据，输入labelme软件，通过该软件可以实现初步的图像分割。

23、本发明的实质性效果是：一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，采用改进的u-net网络将主要的光伏阵列从复杂的准确分割出来，消除复杂背景，确保后续的热斑检测过程顺利进行，并提升检测准确性；采用在hsv空间中对热斑进行突出显示，提高了检测效率。

技术特征：

1.一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，其特征在于，所述步骤s2中的改进u-net网络模型包括27层卷积层，所述改进u-net网络模型包括23层3×3卷积层，所述3×3卷积层的步长为1，所述改进u-net网络模型包括relu的激活函数和2×2的最大池化层，所述2×2的最大池化层的步长为2，所述改进u-net网络模型的底层网络后添加了dropout层。

3.根据权利要求1所述的一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，其特征在于，所述步骤s4中通过将自适应阈值化后的子图像与分割后的红外图像相乘，得到仅包含光伏板的图像，公式如下所示：

4.根据权利要求1所述的一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，其特征在于，所述步骤s5从得到的hsv图像中获取各区域的rgb值和灰度值的分布情况；根据得到的rgb值和灰度值的分布情况，计算平均灰度值和像素点数；根据最后得到的平均灰度值和像素点数判断缺陷的类型。

5.根据权利要求1或2或3或4所述的一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，其特征在于，所述步骤s5中计算平均灰度值和像素点数的公式如下所示：

6.根据权利要求1或2或3或4所述的一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，其特征在于，在进行所述步骤s5时，需要对所述步骤s4中获得的亮点图像进行灰度化处理。

7.根据权利要求1或2或3或4所述的一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，其特征在于，所述步骤s3通过rgb2hsv函数将分割后获得的红外图像从rgb图像转换为hsv图像。

8.根据权利要求1或2或3或4所述的一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，其特征在于，所述改进u-net网络模型进行模型训练过程中，图像大小发生改变，根据亮点质心计算公式获得亮点质心坐标，计算公式如下所示：

9.根据权利要求1或2或3或4所述的一种基于改进u-net和hsv的光伏阵列红外图像热斑检测方法，其特征在于，所述步骤s1中通过labelme对采集得到的光伏阵列图像进行处理，获得所需的红外图像，利用这些红外图像构建训练数据集和测试数据集。

技术总结
本发明公开了一种基于改进U‑NET和HSV的光伏阵列红外图像热斑检测方法，包括如下步骤：S1：采集光伏阵列图像，构建训练数据集和测试数据集；S2：基于改进U‑NET网络模型，对图像进行分割；S3：将分割得到的二值化图像进行还原；S4：将还原后的图像从RGB图像转换为HSV图像；S5：分析得到的HSV图像，根据图像特征对缺陷进行分类；本发明采用改进的U‑NET网络将主要的光伏阵列从复杂的准确分割出来，消除复杂背景，确保后续的热斑检测过程顺利进行，并提升检测准确性。

技术研发人员：徐东华,毛建平,方鸣,陈丽春,陈远昊,杨宇航
受保护的技术使用者：国网浙江省电力有限公司江山市供电公司
技术研发日：
技术公布日：2024/1/15