光伏电池组件缺陷检测方法、装置、设备及存储介质

本技术属于光伏电池检测，特别涉及一种光伏电池组件缺陷检测方法、装置、设备以及存储介质。

背景技术：

1、实现碳峰值和碳中和对于促进全球从化石燃料向清洁能源的过渡具有重要意义，也是解决全球变暖这一紧迫挑战的关键一步，在这一过程中光伏发电系统的发展起着至关重要的作用。而光伏发电系统的有效性在很大程度上依赖于光伏电池组件的输出功率，光伏电池组件上的任何缺陷都会严重影响对未来光伏发电的预测。因此，准确的光伏电池组件缺陷检测不仅是保证系统性能的关键，也是光伏技术不断进步的关键驱动力。

2、目前，光伏电池组件缺陷检测方法主要包括以下三种方法:

3、1)基于光子的方法；包括使用红外摄像机扫描光伏阵列和使用热成像图像检测缺陷，利用电致发光成像(el图像)通过特定电压的高分辨率图像检测微裂纹；该方法成本高且容易对光伏电池造成损伤。

4、2)基于传统机器学习的方法；该方法通常通过人工设计特征来检测光伏电池的缺陷。例如，采用灰度共现矩阵特征提取方法对图像各像素的纹理特征进行分析，检测图像中的表面缺陷。

5、3)基于深度学习的方法；采用带rbf(radialbasisfunction，径向基函数)核的支持向量机和随机森林算法，通过关注区域的几何形状检测光伏电池表面缺陷来获取特征。

6、然而，现有光伏电池组件缺陷检测方法需要针对不同的任务手动设计不同的提取器和分类器，导致成本较高，且泛化能力有限。同时，光伏电池表面的缺陷通常大小不一，而现有光伏电池组件缺陷检测方法无法同时准确识别不同尺寸的缺陷。另外，光伏电池图像的背景通常含有大量的噪声，而目前大多数基于yolo(you only look once，一种实时目标检测算法)的模型往往平等地对待所有提取的特征，这在实际应用中是不正确的。

技术实现思路

1、本技术提供了一种光伏电池组件缺陷检测方法、装置、设备以及存储介质，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

2、为了解决上述问题，本技术提供了如下技术方案：

3、一种光伏电池组件缺陷检测方法，包括：

4、将光伏电池图像输入多尺度邻域特征交互网络，所述多尺度邻域特征交互网络利用ghost跨阶段模块获取光伏电池图像的嵌入特征；

5、将所述嵌入特征输入邻域特征交互模块，所述邻域特征交互模块对嵌入特征进行上采样和下采样，分别获取与其相邻的上下层特征图，并采用多粒度自适应融合算法对所述嵌入特征以及与其相邻的上下层特征图进行融合，生成多尺度融合特征；

6、将所述多尺度融合特征输入全局关注模块，所述全局关注模块利用全局注意机制获取关键特征，根据所述关键特征进行缺陷检测。

7、本技术实施例采取的技术方案还包括：所述ghost跨阶段模块的核心为鬼卷积模块和深度卷积的级联，所述多尺度邻域特征交互网络利用ghost跨阶段模块获取光伏电池图像的嵌入特征，具体为：

8、将输入的光伏电池图像引入到卷积层的顺序排列中，提取其各自的嵌入特征映射；

9、对所述嵌入特征映射进行线性操作，得到一个ghost特征映射；

10、将所述嵌入特征映射与ghost特征映射进行结合，得到光伏电池图像的嵌入特征。

11、本技术实施例采取的技术方案还包括：所述采用多粒度自适应融合算法对所述嵌入特征以及与其相邻的上下层特征图进行融合，生成多尺度融合特征，具体为：

12、对所述ghost跨阶段模块提取的嵌入特征fl∈rcxhxw进行上采样和下采样，得到与其相邻的上下层特征图fl-1和fl+1，将fl、fl-1和fl+1作为所述多粒度自适应融合算法的输入；所述多粒度自适应融合算法对于给定的特征映射x，采用odconv通过线性组合和关注机制对n卷积核进行动态加权：

13、

14、其中，αwi、αfi、αci、αsi分别代表卷积核wi、沿卷积核wi、输入通道维度和输出通道维度，⊙表示沿核空间不同维数的乘法运算。

15、本技术实施例采取的技术方案还包括：所述全局关注模块利用全局注意机制获取关键特征，根据所述关键特征进行缺陷检测，具体为：

16、所述全局关注模块包括卷积层、池化层和全连接层，所述全局关注模块通过锚盒定义不同尺寸和纵横比的目标盒，并在预测过程中生成检测盒；通过分类器对每个检测盒进行分类并确定其是否为目标缺陷，最后利用回归模型得到缺陷的位置和尺寸。

17、本技术实施例采取的技术方案还包括：所述多尺度邻域特征交互网络通过将有效iou损耗与归一化加权距离损耗相结合，引入一个平衡有效损耗函数，所述平衡有效损耗函数由缺陷置信度损失、缺陷类别损失和缺陷定位损失组成，所述缺陷置信度损失和缺陷类别损失均利用二值交叉熵损失；所述平衡有效损耗函数定义为：

18、lall＝λconflconf+λclslcls+λloclloc

19、其中λconf,λcls和λloc是超参数。

20、本技术实施例采取的技术方案还包括：所述多尺度邻域特征交互网络还包括be损失，所述be损失包括eiou损失、归一化wasserstein距离损失和焦点损失，所述be损失定义为：

21、lbe＝iouγ(β*leiou+(1-β)*lnwd)

22、其中iou用于重新加权eiou损失和nwd损失，iou＝|a∩b|/|a∪b|，γ为控制异常值抑制程度的参数，用于平衡eiou损失和nwd损失的比例。

23、本技术实施例采取的另一技术方案为：一种光伏电池组件缺陷检测装置，所述光伏电池组件缺陷检测装置为多尺度邻域特征交互网络，所述多尺度邻域特征交互网络为一个可以嵌入到基于yolo的检测模型的嵌入式插件模块；所述光伏电池组件缺陷检测装置包括：

24、ghost跨阶段模块：用于获取光伏电池图像的嵌入特征；

25、邻域特征交互模块：用于对所述嵌入特征进行上采样和下采样，分别获取与其相邻的上下层特征图，并采用多粒度自适应融合算法对所述嵌入特征以及与其相邻的上下层特征图进行融合，生成多尺度融合特征；

26、全局关注模块：用于利用全局注意机制获取关键特征，根据所述关键特征进行缺陷检测。

27、本技术实施例采取的技术方案还包括：所述多尺度邻域特征交互网络通过将有效iou损耗与归一化加权距离损耗相结合，引入一个平衡有效损耗函数，所述平衡有效损耗函数由缺陷置信度损失、缺陷类别损失和缺陷定位损失组成，所述缺陷置信度损失和缺陷类别损失均利用二值交叉熵损失；所述平衡有效损耗函数定义为：

28、lall＝λconflconf+λclslcls+λloclloc

29、其中λconf,λloc和λloc是超参数；

30、所述多尺度邻域特征交互网络还包括be损失，所述be损失包括eiou损失、归一化wasserstein距离损失和焦点损失，所述be损失定义为：

31、lbe＝iouγ(β*leiou+(1-β)*lnwd)

32、其中iou用于重新加权eiou损失和nwd损失，iou＝|a∩b|/|a∪b|，γ为控制异常值抑制程度的参数，用于平衡eiou损失和nwd损失的比例。

33、本技术实施例采取的又一技术方案为：一种设备，所述设备包括处理器、与所述处理器耦接的存储器，其中，

34、所述存储器存储有用于实现所述光伏电池组件缺陷检测方法的程序指令；

35、所述处理器用于执行所述存储器存储的所述程序指令以控制光伏电池组件缺陷检测方法。

36、本技术实施例采取的又一技术方案为：一种存储介质，存储有处理器可运行的程序指令，所述程序指令用于执行所述光伏电池组件缺陷检测方法。

37、相对于现有技术，本技术实施例产生的有益效果在于：本技术实施例的光伏电池组件缺陷检测方法、装置、设备以及存储介质提出了一种多尺度特征融合的多尺度邻域特征交互网络，对于给定光伏电池图像，多尺度邻域特征交互网络通过ghost跨阶段模块对其进行多粒度、多尺度的嵌入特征提取，通过邻域特征交互模块自适应融合深层和浅层的双向上下文信息，得到多尺度融合特征，避免光伏电池图像中的噪声影响，然后采用全局关注机制关注多尺度融合特征中的关键信息进行多尺度缺陷检测。本技术实施例还设计了新的损失函数以促使模型专注于识别不同尺寸的缺陷，大大提高了对不同尺寸缺陷的检测能力以及检测精度。本技术实施例的多尺度邻域特征交互网络设计为一个嵌入式插件模块，可以嵌入到各种基于yolo的检测模型中，以提高光伏电池缺陷检测的性能，并为基于计算机视觉的检测系统提供有用框架。