光伏面板检测方法、无人机和计算机可读存储介质

本申请涉及光伏发电，尤其涉及一种光伏面板检测方法、无人机和计算机可读存储介质。

背景技术：

1、在新能源领域中，光伏发电技术因其储能充裕、耗能清洁、技术成熟等优点广受人们的青睐。然而，光伏面板在使用过程中，会由于外界环境、工艺缺陷或者生产环境的影响、使用年限等因素造成不同程度的损坏，同时光伏面板的局部损坏或异常又可能导致与其并联发电面板电池组的损坏，使得光伏能源利用率降低。因此，为了最大化光伏面板发电效率及使用寿命，对光伏面板进行定期巡检意义重大，通过巡检可及时发现异常，并进行修复或替换。

2、在相关技术中，通过人工进行光伏面板的巡检，根据光伏面板的发电效率判断光伏面板是否异常，在判断光伏面板出现异常后仍需要在一定范围内再次对光伏面板进行损伤定位，然而部分安装位置的光伏面板因所处位置特殊导致难以开展人工巡检，增加人工巡检负担，从而降低检测效率。

3、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本申请实施例通过提供一种光伏面板检测方法、设备和计算机可读存储介质，旨在解决光伏面板检测效率低的技术问题。

2、为实现上述目的，本发明实施例提供一种光伏面板检测方法，所述光伏面板检测方法包括以下：

3、获取无人机采集的时序多模态图像，并基于所述时序多模态图像获取待检测的光伏面板对应的可见光图像和红外图像；

4、提取所述可见光图像和所述红外图像的共同特征，并基于所述共同特征生成所述可见光图像和所述红外图像对应的融合图像；

5、基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型；

6、根据所述分割区域确定异常位置，并基于所述缺陷类型及所述异常位置输出光伏面板检测结果。

7、可选地，所述提取所述可见光图像和所述红外图像的共同特征，并基于所述共同特征生成所述可见光图像和所述红外图像对应的融合图像的步骤，包括：

8、对所述可见光图像和所述红外图像进行卷积和下采样操作，提取多个不同尺度的所述可见光图像和所述红外图像的共同特征；

9、基于跳层连接方式，拼接所述可见光图像和所述红外图像在同一尺度上的共同特征，并进行转置卷积和上采样操作，确定所述可见光图像和所述红外图像对应的融合图像。

10、可选地，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型的步骤，包括：

11、将所述融合图像输入改进的缺陷检测模型，基于注意力机制，增大所述融合图像中检测目标的权重值；

12、基于所述光伏面板特征和所述改进的缺陷检测模型，对所述融合图像进行语义分割，得到多个所述分割区域；

13、确定多个所述分割区域是否存在异常；

14、在确定存在异常时，标注所述异常所处的分割区域，并输出所述检测结果。

15、可选地，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型的步骤，包括：

16、获取所述分割区域对应的区域图像；

17、将所述区域图像与存储的历史图像进行匹配，确定缺陷类型，其中，所述缺陷类型包括异物遮挡类型、外观损坏类型以及功能缺陷类型。

18、可选地，所述获取无人机采集的时序多模态图像，并基于所述时序多模态图像获取待检测光伏面板对应的可见光图像和红外图像的步骤之前，包括：

19、获取待检测的光伏面板的分布位置；

20、根据待检测的光伏面板的分布位置确定无人机的巡检航线和拍摄方向角；

21、控制所述无人机按照所述巡检航线航行，并根据所述拍摄方向角采集所述时序多模态图像。

22、可选地，所述根据所述分割区域确定异常位置，并基于所述缺陷类型及所述异常位置输出光伏面板检测结果的步骤，包括：

23、获取无人机采集的所述时序多模态图像时所处的位置以及拍摄方向角；

24、根据所述位置和所述拍摄方向角确定所述异常所处的分布区域；

25、获取所述异常对应的光伏面板的标识；

26、根据所述标识和所述分布区域确定所述异常位置。

27、可选地，所述方法还包括：

28、确定所述异常对应的缺陷类型；

29、根据所述缺陷类型更新数据库对应的所述异常的数量，以在客户端显示。

30、可选地，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型的步骤之前，包括：

31、确定所述改进的缺陷检测模型的初始权重和损失函数；

32、获取具有所述光伏面板特征的检测数据集，将所述检测数据集输入所述改进的缺陷检测模型，确定检测结果与预期结果之间的误差值；

33、根据所述误差值更新所述改进的缺陷检测模型的模型参数。

34、此外，本发明为实现上述目的，本发明还提供一种无人机，其特征在于，所述无人机包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的光伏面板检测程序，所述光伏面板检测程序被所述处理器执行时实现如上所述的光伏面板检测方法的步骤。

35、此外，本发明为实现上述目的，本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有光伏面板检测程序，所述光伏面板检测程序被处理器执行时实现如上所述的光伏面板检测方法的步骤。

36、本发明一实施例提出的一种光伏面板检测方法，设备和计算机可读存储介质，通过获取无人机采集的时序多模态图像，并基于时序多模态图像获取待检测的光伏面板对应的可见光图像和红外图像，然后提取可见光图像和红外图像的共同特征，并基于共同特征生成可见光图像和红外图像对应的融合图像，然后再对融合图像进行异常识别，在识别出异常后，基于光伏面板特征对融合图像进行语义分割，并确定融合图像中异常所处的分割区域，根据分割区域确定异常位置，并基于异常位置输出光伏面板检测结果。通过无人机自动巡检，实时对采集的时序多模态图像进行分析处理，实现对光伏面板缺陷及异常的自动识别和定位，并给出缺陷类型的预测，极大的减轻了人工负担，并提升对大体量光伏面板的检测效率。

技术特征：

1.一种光伏面板检测方法，其特征在于，所述光伏面板检测方法包括：

2.如权利要求1所述的光伏面板检测方法，其特征在于，所述提取所述可见光图像和所述红外图像的共同特征，并基于所述共同特征生成所述可见光图像和所述红外图像对应的融合图像的步骤，包括：

3.如权利要求2所述的光伏面板检测方法，其特征在于，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型的步骤，包括：

4.如权利要求1所述的光伏面板检测方法，其特征在于，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型的步骤，包括：

5.如权利要求1所述的光伏面板检测方法，其特征在于，所述获取无人机采集的时序多模态图像，并基于所述时序多模态图像获取待检测光伏面板对应的可见光图像和红外图像的步骤之前，包括：

6.如权利要求1所述的光伏面板检测方法，其特征在于，所述根据所述分割区域确定异常位置，并基于所述缺陷类型及所述异常位置输出光伏面板检测结果的步骤，包括：

7.如权利要求1所述的光伏面板检测方法，其特征在于，所述方法还包括：

8.如权利要求1所述的光伏面板检测方法，其特征在于，所述基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域的步骤之前，包括：

9.一种无人机，其特征在于，所述无人机包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的光伏面板检测程序，所述光伏面板检测程序被所述处理器执行时实现如权利要求1至8中任一项所述的光伏面板检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有光伏面板检测程序，所述光伏面板检测程序被处理器执行时实现如权利要求1至8中任一项所述的光伏面板检测方法的步骤。

技术总结
本发明公开了一种光伏面板检测方法、无人机和计算机可读存储介质，其中，所述一种光伏面板检测方法包括：获取无人机采集的时序多模态图像，并基于所述时序多模态图像获取待检测的光伏面板对应的可见光图像和红外图像；提取所述可见光图像和所述红外图像的共同特征，并基于所述共同特征生成所述可见光图像和所述红外图像对应的融合图像；基于光伏面板特征对所述融合图像进行语义分割，并确定所述融合图像中异常所处的分割区域及缺陷类型；根据所述分割区域确定异常位置，并基于所述缺陷类型及所述异常位置输出光伏面板检测结果。通过无人机巡检，实现对光伏面板缺陷及异常的自动识别及定位，提升对大体量光伏面板异常检测的效率。

技术研发人员：李嘉琪,岳清瑞,张素梅,金楠,杨新聪,施钟淇
受保护的技术使用者：哈尔滨工业大学（深圳）
技术研发日：
技术公布日：2024/1/13