一种基于热红外图像分析光伏设备故障的方法及系统与流程

1.本发明属于光伏设备故障识别领域，特别涉及一种基于热红外图像分析光伏设备故障的方法及系统。


背景技术：

2.随着绿色可再生能源等理念的提出，光伏设备凭借无污染、可再生、存储性好、原料易于获取、容量可扩展性强等优点得到了广泛应用。但由于封装工艺、使用环境等因素的影响，光伏设备中的某些组件可能老化甚至损坏，从而影响实际使用效果。因此，光伏设备的故障识别与分析同样十分重要。
3.除生产缺陷以外，最常见且危害最大的光伏设备故障源于热斑现象。这是由于实际使用过程中存在遮挡或光照不均，光伏设备中部分组件产生的电流长时间低于其他组件，形成电势差，最终对外放热。热斑现象会对光伏组件的结构造成破坏，进而对整个光伏设备的使用寿命产生影响。
4.现阶段对于光伏设备的故障识别主要采用红外图像分析法，但该方法主要存在以下问题：
5.其故障识别精度很大程度上取决于所使用红外摄像仪的精度，而由于红外摄像仪成像固有特点，红外图片常出现图片边缘模糊，目标与背景难以区分等问题，这也导致了该方法抗噪声能力差，不同的拍摄设备使用同样的分析方法得出的结果可能存在很大差异；对于微小故障造成的较小温差不敏感；实时性差，难以做到快速、及时识别故障。


技术实现要素：

6.为解决上述问题，本发明提供了一种基于热红外图像分析光伏设备故障的方法及系统，将多种卷积神经网络应用于光伏设备故障识别，搭建集成模型提高识别系统抗干扰能力，可以依靠对红外图像的处理和特征提取，对光伏设备故障进行自动识别。
7.本发明提供的一种基于热红外图像分析光伏设备故障的方法，该方法包括，无人机机载装置在无法正常通信时，所述无人机机载装置中的机载故障诊断模块搭载多教师知识蒸馏训练的mobilev3轻量模型对所述无人机采集到的原始热红外图像数据离线故障诊断，所述离线故障诊断经过卷积神经网络提取高维的图像潜在语义特征的剪裁处理；
8.裁剪处理后的热红外图像数据作为已训练好的mobilev3网络的输入，已训练好的mobilev3网络经过对裁剪处理后的热红外图像数据进行处理，得到检测结果；
9.无人机机载装置中的机载存储模块将机载故障诊断模块诊断结果和故障位置信息进行备份；在通信环境恢复正常后，无人机机载装置中的机载通信模块传输检测结果发给地面站。
10.优选地，裁剪处理是由卷积神经网络提取高维的图像潜在语义特征，是将热红外图像裁去热红外图像的边缘模糊部分，通过对所述热红外图像升维提取图像不同通道的多维度信息；最大池化保留高灰度值特征的同时减小图片尺寸；通过2n次方卷积提取热红外
图像底层特征；残差连接之后的卷积提取的特征，经过全局平均池化将提取到的底层特征量化为具体数字，由softmax神经网络根据数字大小进行分类得到最终的识别结果；所述热红外图像裁剪为224
×
224的格式作为mobilev3网络的输入；
11.其中，裁剪处理前，对热红外图像拍照重拍范围在大于25％小于40％以内；
12.优选地，由softmax神经网络根据数字大小进行分类得到最终的识别结果所述识别结果为热红外图片得到有无热斑识别结果，由一个二进制位表示，0表示未识别到出现热斑，1表示识别到出现热斑。
13.优选地，mobilev3网络经过得到检测结果，是指无人机机载装置采集的光伏设备图像数据，作为训练数据集，并用于训练改进的resnet-50网络集成模型时，采用有放回随机抽取的训练方式，训练每个改进的resnet-50网络的训练数据集都是原始训练数据集的一个子集，所述经过已训练好的改进好的resnet50集成网络作为mobilev3网络的一个子集，该训练数据集用于训练mobilev3网络模型时，使用知识蒸馏的训练方式，此时原始训练数据集所有数据均参与训练；该训练集用于训练mobilev3网络模型时，使用知识蒸馏的训练方式，是将原来训练数据集的hardlabel改为由神经网络softmax层预测的softlabel，通过设置蒸馏温度t使标签平滑化，是对softloss及hardloss的加权求和得到总损失totalloss；
[0014][0015]
softloss为多个单教师网络softloss的加权平均；
[0016][0017]
其中，n为总样本数，m为总类别数，n为教师网络总数，l为其中某一个教师网络，t为蒸馏温度，s为logit得分，i为某一个样本，j为某一种类别，y
ij
为教师网络预测i样本为j类别的概率，x
ij
为学生网络预测i样本为j类别的概率，即输出的预测结果。
[0018][0019]
总损失totalloss是对softloss及hardloss的加权求和，通过反向传播最小化总损失：
[0020]
totalloss＝k1*hardloss+k2*softloss(4)
[0021]
wi、w2…
wn为加权值，可根据各个教师网络对测试数据的识别表现设定权重，设置范围wn≤1；k1、k2为加权值，设置范围1≥k≥0，k1+k2＝1。
[0022]
本发明提供了一种基于热红外图像分析光伏设备故障的方法，无人机机载装置，通过采集信息，可以准确、高效地对热斑进行检测；不需要繁琐的参数测量以及数据采集，仅依据拍摄的图片进行故障诊断，从而避免了由测量误差造成的故障漏检、误检；不需要人为设计图像特征提取算子，由卷积神经网络自行提取高维的图像潜在语义特征，从而避免了由算子选取或设计缺陷造成的检测精度损失、阴天等光照不足的情况无需重新设计算法；通过硬实时、软实时诊断相结合的故障诊断策略解决了热红外图像检测实时性差的问题。相比单纯依靠地面站进行故障检测的系统，由机载故障诊断模块带来的边缘计算能力
提高了通信状况不佳的情况下故障识别系统的稳定性。
[0023]
本发明提供的一种基于热红外图像分析光伏设备故障的系统，包括无人机机载装置、地面站；
[0024]
无人机机载装置包括图像采集模块、机载故障诊断模块、机载通信模块、机载gps定位模块、机载存储模块；
[0025]
地面站包括系统管理模块、地面通信模块、地面故障诊断模块；
[0026]
无人机机载装置在正常通信状况时，图像采集模块将采集到的原始热红外图像数据传输至所述地面站进行数据的实时处理，所述地面站的地面故障诊断模块采用改进的resnet-50集成模型进行故障识别；
[0027]
无人机机载装置在无法正常通信时，该无人机机载故障诊断模块搭载多教师知识蒸馏训练的mobilev3轻量模型对所述无人机采集到的原始热红外图像数据离线故障诊断，该离线故障诊断是机载故障诊断模块对所述热红外图像数据进行裁剪处理，剪裁处理由卷积神经网络提取高维的图像潜在语义特征；裁剪处理后的热红外图像数据作为已训练好的mobilev3网络的输入，已训练好的mobilev3网络经过处理得到检测结果，机载存储模块将机载故障诊断模块诊断结果和故障位置信息进行备份；机载gps定位模块负责无人机定位，在图像采集模块传输图像数据时，加入拍摄图片的位置信息；
[0028]
在通信环境恢复正常后，机载通信模块传输检测结果和故障位置信息形成报告发给地面站，地面站系统管模块根据接收报告的信息路径规划对故障位置区域进行复检。
[0029]
优选地，剪裁处理由卷积神经网络提取高维的图像潜在语义特征；是将热红外图像裁去热红外图像的边缘模糊部分，通过对热红外图像升维提取图像不同通道的多维度信息；最大池化保留高灰度值特征的同时减小图片尺寸；通过2n次方卷积提取热红外图像底层特征；残差连接之后的卷积提取的特征，经过全局平均池化将提取到的底层特征量化为具体数字，由softmax神经网络根据数字大小进行分类得到最终的识别结果；热红外图像裁剪的格式为224
×
224像素作为mobilev3网络的输入。
[0030]
优选地，热红外图像升维是对resnet-50网络的改进，是在原resnet-50网络之前加入1
×
1大小的卷积核对输入热红外图像做升维处理；
[0031]
其中，全局平均池化将提取到的底层特征量化为具体数字，是将原resnet-50网络中7
×
7卷积核更换为三个3
×
3的小卷积核，将原resnet-50网络中平均池化层以及全连接层替换为全局平均池化层gap；
[0032]
优选地，经过全局平均池化将提取到的底层特征量化为具体数字，所述热红外图像由通道组成，所述通道由像素点组成，每个像素点有具体的像素值，全局平均池化为每个像素点赋予一个为1的权重，计算各个通道内所有像素点像素值的平均值，再将各个通道所有像素点像素值的平均值拼接起来，形成一个向量，完成热红外图像到数的转变。
[0033]
优选地，mobilev3网络经过得到检测结果，是指所述无人机机载装置的采集图像模块采集的光伏设备热红外图像数据，作为训练数据集，并用于训练改进的resnet-50网络集成模型，采用有放回随机抽取的训练方式，训练每个改进的resnet-50网络的训练数据集都是原始训练数据集的一个子集，所述经过已训练好的改进好的resnet50集成网络作为mobilev3网络的一个子集，所述训练集用于训练mobilev3网络模型时，使用知识蒸馏的训练方式，此时原始训练数据集所有数据均参与训练；其中，所述训练数据集来自所述无人机
采集的光伏设备图片数据，数据格式为图片-标签，图片包括正常工作状态下的光伏设备以及出现故障的光伏设备，标签由人为标注，0为未出现故障，1为出现故障。
[0034]
优选地，训练集用于训练mobilev3网络模型时，使用知识蒸馏的训练方式，此时原始训练数据集所有数据均参与训练；是指训练集用于训练mobilev3网络模型时，使用知识蒸馏的训练方式，将原来训练数据集的hardlabel改为由教师网络softmax层预测的softlabel，通过设置蒸馏温度t使标签平滑化，是对softloss及hardloss的加权求和得到总损失totalloss；使用地面故障诊断模块的改进的resnet-50作为教师网络，mobilev3作为学生网络；其中，多教师知识蒸馏主要参数可通过以下公式计算：
[0035][0036]
总softloss为多个单教师网络softloss的加权平均；
[0037][0038]
其中，n为总样本数，m为总类别数，n为教师网络总数，l为其中某一个教师网络，t为蒸馏温度，s为logit得分，i为某一个样本，j为某一种类别，y
ij
为教师网络预测i样本为j类别的概率，x
ij
为学生网络预测i样本为j类别的概率，即输出的预测结果；
[0039][0040]
总损失totalloss是对softloss及hardloss的加权求和，通过反向传播最小化总损失：
[0041]
totalloss＝k1*hardloss+k2*softloss(4)
[0042]
w1、w2…
wn为加权值，可根据各个教师网络对测试数据的识别表现设定权重，设置范围wn≤1；k1、k2为加权值，设置范围1≥k≥0，k1+k2＝1。
[0043]
优选地，对热红外图像进行裁剪处理前，图像采集模块对热红外拍照重拍范围在大于25％小于40％以内；
[0044]
优选地，由softmax神经网络根据数字大小进行分类得到最终的识别结果所述识别结果为热红外图像得到有无热斑识别结果，由一个二进制位表示，0表示未识别到出现热斑，1表示识别到出现热斑；
[0045]
优选地，无人机机载装置在通信环境恢复正常后，机载通信模块传输检测结果图像数据的二进制数、图像所在位置信息、拍摄时间形成一次完整故障识别的报告发给地面站。
[0046]
优选地，地面站的地面故障诊断模块采用改进的resnet-50集成模型进行故障识别，是指地面故障诊断模块使用了bagging的集成学习方法，由随机从训练数据集中有放回随机抽取部分训练数据训练的多个网络模型集合而成，使用多数投票法确定最终的检测结果，集成模型各个子网络彼此独立可以并行运行。
[0047]
本发明提供了一种基于热红外图像分析光伏设备故障的系统，通过无人机机载装置和地面站可以准确、高效地对热斑进行检测。不需要繁琐的参数测量以及数据采集，仅依据拍摄的图片进行故障诊断，从而避免了由测量误差造成的故障漏检、误检；不需要人为设
计图像特征提取算子，由卷积神经网络自行提取高维的图像潜在语义特征，从而避免了由算子选取或设计缺陷造成的检测精度损失，阴天等光照不足的情况无需重新设计算法；通过硬实时、软实时诊断相结合的故障诊断策略解决了热红外图像检测实时性差的问题。相比单纯依靠地面站进行故障检测的系统，由机载故障诊断模块带来的边缘计算能力提高了通信状况不佳的情况下故障识别系统的稳定性。
附图说明
[0048]
图1是一种基于热红外图像分析光伏设备故障的方法流程图；
[0049]
图2是一种基于热红外图像分析光伏设备故障的系统完整的故障识别系统；
[0050]
图3是一种基于热红外图像分析光伏设备故障的系统改进的resnet-50网络架构简要说明图；
[0051]
图4是一种基于热红外图像分析光伏设备故障的系统地面站故障识别模块基于多个改进的resnet-50网络的集成模型；
[0052]
图5是一种基于热红外图像分析光伏设备故障的系统使用多教师知识蒸馏训练mobilev3网络的原理图；
[0053]
图6是一种基于热红外图像分析光伏设备故障的系统机载故障诊断模块独立完成故障识别的流程图；
[0054]
图7是一种基于热红外图像分析光伏设备故障的系统改进的resnet-50网络集成模型及mobilev3网络的训练概要图。
具体实施方式
[0055]
下面结合附图和具体实施例对本发明作进一步详细说明，所述实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0056]
本发明实施例提供的一种基于热红外图像分析光伏设备故障的方法，如图1所示，该方法包括，
[0057]
无人机机载装置在无法正常通信时，无人机机载装置中的机载故障诊断模块搭载多教师知识蒸馏训练的mobilev3轻量模型对所述无人机采集到的原始热红外图像数据离线故障诊断，所述离线故障诊断经过卷积神经网络提取高维的图像潜在语义特征的剪裁处理；
[0058]
裁剪处理后的热红外图像数据作为已训练好的mobilev3网络的输入，已训练好的mobilev3网络经过对裁剪处理后的热红外图像数据进行处理，得到检测结果；
[0059]
无人机机载装置中的机载存储模块将机载故障诊断模块诊断结果和故障位置信息进行备份；在通信环境恢复正常后，无人机机载装置中的机载通信模块传输检测结果发给地面站。
[0060]
在一个实施例中，裁剪处理是由卷积神经网络提取高维的图像潜在语义特征，是将热红外图像裁去热红外图像的边缘模糊部分，通过对热红外图像升维提取图像不同通道的多维度信息；最大池化保留高灰度值特征的同时减小图片尺寸；通过2n次方卷积提取热红外图像底层特征；残差连接之后的卷积提取的特征，经过全局平均池化将提取到的底层特征量化为具体数字，由softmax神经网络根据数字大小进行分类得到最终的识别结果；所
述热红外图像裁剪为224
×
224的格式作为mobilev3网络的输入；
[0061]
其中，裁剪处理前，对热红外图像拍照重拍范围在大于25％小于40％以内；
[0062]
在一个实施例中，由softmax神经网络根据数字大小进行分类得到最终的识别结果所述识别结果为热红外图片得到有无热斑识别结果，由一个二进制位表示，0表示未识别到出现热斑，1表示识别到出现热斑。
[0063]
其中，mobilev3网络经过得到检测结果，是指无人机机载装置采集的光伏设备图像数据，作为训练数据集，并用于训练改进的resnet-50网络集成模型时，采用有放回随机抽取的训练方式，训练每个改进的resnet-50网络的训练数据集都是原始训练数据集的一个子集，所述经过已训练好的改进好的resnet50集成网络作为mobilev3网络的一个子集，该训练数据集用于训练mobilev3网络模型时，使用知识蒸馏的训练方式，此时原始训练数据集所有数据均参与训练；该训练集用于训练mobilev3网络模型时，使用知识蒸馏的训练方式，是将原来训练数据集的hardlabel改为由神经网络softmax层预测的softlabel，通过设置蒸馏温度t使标签平滑化，是对softloss及hardloss的加权求和得到总损失totalloss；
[0064][0065]
softloss为多个单教师网络softloss的加权平均；
[0066][0067]
其中，n为总样本数，m为总类别数，n为教师网络总数，l为其中某一个教师网络，t为蒸馏温度，s为logit得分，i为某一个样本，j为某一种类别，y
ij
为教师网络预测i样本为j类别的概率，x
ij
为学生网络预测i样本为j类别的概率，即输出的预测结果。
[0068][0069]
总损失totalloss是对softloss及hardloss的加权求和，通过反向传播最小化总损失：
[0070]
totalloss＝k1*hardloss+k2*softloss(4)
[0071]
w1、w2…
wn为加权值，可根据各个教师网络对测试数据的识别表现设定权重，设置范围wn≤1；k1、k2为加权值，设置范围1≥k≥0，k1+k2＝1。
[0072]
在一个实施例中，无人机机载装置加装红外摄像仪可以为任意适用于本文所述的具有红外摄像技术的摄像设备，采用主动摄像或被动摄像均可。
[0073]
采用红外摄像仪分辨率可为320
×
240或者640
×
480，使用640
×
480时先经过步长为2的最大池化将分辨率调整为320
×
240，因热斑出现的位置灰度值偏高，故采用最大池化不会造成信息丢失。
[0074]
红外摄像仪可由无人机携带，组成图像采集模块，循环检测光伏阵列，无人机飞行速度、拍照频率由光伏设备安装情况决定，确保不漏拍，因图像裁剪会裁去部分信息，故重拍范围确保在大于25％小于40％以内。
[0075]
在一个实施例中，无人机巡检时通信状况良好时，无人机将采集到的原始图像数
据传输至地面站进行数据的实时处理，实现了硬实时故障诊断。地面故障诊断系统采用改进的resnet-50集成模型进行故障识别。
[0076]
在一个实施例中，机载故障诊断模块采用模型压缩、加速方法，在尽可能高的保持检测精度的前提下，将训练好的大模型转换为可搭载在机载故障诊断模块的小模型，具有独立完成诊断任务的能力。
[0077]
无人机加装机载故障诊断模块可在无法正常通信时，离线完成故障诊断，机载通信模块仅传输检测结果及位置信息，在通信环境恢复后，由地面站控制路径规划模块对位置区域进行复检，实现了软实时故障诊断。
[0078]
无人机机载装置还加装存储模块可以对机载故障诊断模块诊断结果进行备份，以应对诸如短期内多次通信不畅或通信条件完全丧失等极端情况。
[0079]
在一个实施例中，硬实时即严格意义上的实时，采集到图像的短时间内就要完成对图像的识别并反馈给用户。这种实时缺点是对通信条件要求高、传输数据量大，而在通信条件差时，往往会造成数据丢失。对应实施例中通信状况良好条件下的主要依靠地面故障诊断完成的故障识别，此时传输数据包括采集到的图像数据。
[0080]
与硬实时不同，软实时在不影响最终结果的条件下允许一定程度的延时，以换取更完整更准确的数据，且这些延迟发送的数据一般都有备份。软实时中采集到数据后不是直接传输，而是先检查通信情况，通信状况好时直接传输；通信状况差时先备份等一段时间后再重新检测通信状况，直至通信正常时传输。对应实施例中通信环境恶劣时依靠机载故障诊断模块完成的故障识别，采集到的图像数据经过机载故障诊断模块的处理得到识别结果，识别结果传输同时在机载存储模块备份。
[0081]
本发明中软硬实时的区别主要取决于识别结果何时反馈给用户(即地面站系统管理模块)。仅看对采集图像的识别速度的话，其实机载故障诊断模块快于地面故障诊断模块。但由于地面故障诊断模块在得到识别结果后能立刻反馈给用户，所以属于硬实时；而机载故障诊断模块需要根据通信情况视情反馈给用户，所以属于软实时。
[0082]
本发明提供了一种基于热红外图像分析光伏设备故障的方法，无人机机载装置通过采集信息，可以准确、高效地对热斑进行检测；不需要繁琐的参数测量以及数据采集，仅依据拍摄的图片进行故障诊断，从而避免了由测量误差造成的故障漏检、误检；不需要人为设计图像特征提取算子，由卷积神经网络自行提取高维的图像潜在语义特征，从而避免了由算子选取或设计缺陷造成的检测精度损失、阴天等光照不足的情况无需重新设计算法；通过硬实时、软实时诊断相结合的故障诊断策略解决了热红外图像检测实时性差的问题。相比单纯依靠地面站进行故障检测的系统，由机载故障诊断模块带来的边缘计算能力提高了通信状况不佳的情况下故障识别系统的稳定性。
[0083]
实施例二
[0084]
本发明提供一种基于热红外图像分析光伏设备故障的系统，参照图2，整个热斑联合检测系统分为无人机机载装置和地面站两部分，机载装置部分包括图像采集模块、机载通信模块、机载gps定位模块、机载故障诊断模块以及机载存储模块；
[0085]
地面站部分包括系统管理模块、地面通信模块以及地面故障诊断模块。其中机载部分包含两个可选模块，采用与否主要取决于通信环境，通信环境良好时，不采用可选模块可以降低无人机配重，增加续航时间；通信环境差时，机载故障诊断模块可离线完成故障诊
断，机载通信模块仅传输检测结果及位置信息，待通信环境恢复后，由地面站控制无人机对位置区域进行复检；出现短期内多次通信不畅或通信条件完全丧失等极端情况时，可以选择加装存储模块可以对机载故障诊断模块诊断结果进行备份。
[0086]
在通讯畅通的情况下图像采集模块负责采集热红外图像，可由系统管理模块控制，无人机调整拍摄高度与拍摄角度，并将采集到的图像数据通过机载通信模块传输至地面站。
[0087]
当由无法正常通信条件转为通信条件正常时，无人机在系统管理模块控制下完成复检。gps定位模块负责无人机定位，在图像采集模块传输图像数据时，加入拍摄图片的位置信息一同传输，帮助判断热斑位置，在采用机载存储模块时，备份的信息同样包括位置信息。
[0088]
机载故障诊断模块负责完成无法正常通信时的离线诊断，由于搭载的是相对轻量的神经网络模型，故障检测精度一般低于地面故障诊断使用的大型集成模型，在通信条件转好时可以对使用机载故障诊断模块的部分进行地面复检。
[0089]
无人机搭载轻量模型需要满足：1.模型足够小。此处选择参数少、计算量小的模型mobilev3。2.识别效果好。此处使用知识蒸馏转移大模型的训练结果。
[0090]
无人机机载装置在通信状况较差时，无人机机载故障诊断模块搭载多教师知识蒸馏训练的mobilev3轻量模型对无人机采集到的原始热红外图像数据离线故障诊断，离线故障诊断是机载故障诊断模块对热红外图像数据进行裁剪处理，此处剪裁处理由卷积神经网络提取高维的图像潜在语义特征；裁剪处理后的热红外图像数据作为已训练好的mobilev3网络的输入，已训练好的mobilev3网络对裁剪处理后的热红外图像数据经过处理得到检测结果，机载存储模块将机载故障诊断模块诊断结果和故障位置信息进行备份；
[0091]
在通信环境恢复正常后，机载通信模块传输检测结果和故障位置信息形成报告发给地面站，所述地面站系统管模块根据接收报告的信息路径规划对故障位置区域进行复检。
[0092]
在一个实施例中，由卷积神经网络提取高维的图像潜在语义特征；是将热红外图像裁去热红外图像的边缘模糊部分，通过对热红外图像升维提取图像不同通道的多维度信息；最大池化保留高灰度值特征的同时减小图片尺寸；通过2n次方卷积提取热红外图像底层特征；残差连接之后的卷积提取的特征，经过全局平均池化将提取到的底层特征量化为具体数字，由softmax神经网络根据数字大小进行分类得到最终的识别结果；所述热红外图像裁剪的格式为224
×
224像素作为mobilev3网络的输入。
[0093]
在一个实施例中，热红外图像升维是对resnet-50网络的改进，是在原resnet-50网络之前加入1
×
1大小的卷积核对输入热红外图像做升维处理；全局平均池化将提取到的底层特征量化为具体数字，是将原resnet-50网络中7
×
7卷积核更换为三个3
×
3的小卷积核，将原resnet-50网络中平均池化层以及全连接层替换为全局平均池化层gap；经过全局平均池化将提取到的底层特征量化为具体数字，热红外图像由通道组成，该通道由像素点组成，每个像素点有具体的像素值，全局平均池化为每个像素点赋予一个为1的权重，计算各个通道内所有像素点像素值的平均值，再将各个通道所有像素点像素值的平均值拼接起来，形成一个向量，完成热红外图像到数的转变。
[0094]
在一个实施例中，mobilev3网络经过得到检测结果，是指所述无人机机载装置的
采集图像模块采集的光伏设备热红外图像数据，作为训练数据集，并用于训练改进的resnet-50网络集成模型，采用有放回随机抽取的训练方式，训练每个改进的resnet-50网络的训练数据集都是原始训练数据集的一个子集，所述经过已训练好的改进好的resnet50集成网络作为mobilev3网络的一个子集，所述训练集用于训练mobilev3网络模型时，使用知识蒸馏的训练方式，此时原始训练数据集所有数据均参与训练；其中，所述训练数据集来自所述无人机采集的光伏设备图片数据，数据格式为图片-标签，图片包括正常工作状态下的光伏设备以及出现故障的光伏设备，标签由人为标注，0为未出现故障，1为出现故障。
[0095]
在一个实施例中，训练集用于训练mobilev3网络模型时，使用知识蒸馏的训练方式，此时原始训练数据集所有数据均参与训练；是指训练集用于训练mobilev3网络模型时，使用知识蒸馏的训练方式，将原来训练数据集的hardlabel改为由教师网络softmax层预测的softlabel，通过设置蒸馏温度t使标签平滑化，是对softloss及hardloss的加权求和得到总损失totalloss；使用地面故障诊断模块的改进的resnet-50作为教师网络，mobilev3作为学生网络；
[0096]
在一个实施例中，多教师知识蒸馏主要参数可通过以下公式计算：
[0097][0098]
总softloss为多个单教师网络softloss的加权平均；
[0099][0100]
其中，n为总样本数，m为总类别数，n为教师网络总数，l为其中某一个教师网络，t为蒸馏温度，s为logit得分，i为某一个样本，j为某一种类别，y
ij
为教师网络预测i样本为j类别的概率，x
ij
为学生网络预测i样本为j类别的概率，即输出的预测结果；
[0101][0102]
总损失totalloss是对softloss及hardloss的加权求和，通过反向传播最小化总损失：
[0103]
totalloss＝k1*hardloss+k2*softloss(4)
[0104]
w1、w2…
wn为加权值，可根据各个教师网络对测试数据的识别表现设定权重，设置范围wn≤1；k1、k2为加权值，设置范围1≥k≥0，k1+k2＝1。
[0105]
在一个实施例中，对热红外图像进行裁剪处理前，图像采集模块对热红外拍照重拍范围在大于25％小于40％以内；
[0106]
由softmax神经网络根据数字大小进行分类得到最终的识别结果所述识别结果为热红外图像得到有无热斑识别结果，由一个二进制位表示，0表示未识别到出现热斑，1表示识别到出现热斑；
[0107]
无人机机载装置在通信环境恢复正常后，机载通信模块传输检测结果图像数据的二进制数、图像所在位置信息、拍摄时间形成一次完整故障识别的报告发给地面站。
[0108]
地面站的地面故障诊断系统采用改进的resnet-50集成模型进行故障识别，是指地面故障诊断模块使用了bagging的集成学习方法，由随机从训练数据集中有放回随机抽
取部分训练数据训练的多个网络模型集合而成，使用多数投票法确定最终的检测结果，集成模型各个子网络彼此独立可以并行运行。。
[0109]
系统管理模块负责统筹规划无人机的飞行参数的具体设置，将无人机飞行控制数据经由通信模块发送到无人机，将地面故障诊断模块定位到的热斑生成检测报告反馈给工作人员；
[0110]
地面通信模块负责接收无人机采集的原始图片数据以及发送地面站的控制数据，将原始图片数据传输至地面故障诊断模块；
[0111]
地面故障诊断模块将接收到的热红外图像进行识别，诊断为热斑时，完成热斑定位并把结果传输至系统管理模块。在实践中应确保路线规划的合理性，避免重拍漏拍，根据光伏组件的位置安装图来拟定无人机的最佳飞行路线，使得无人机在特定的拍摄区域内稳定运行。
[0112]
关于图像拍摄，一般是将热红外摄像仪装载在无人机上，让无人机按照预先设计的路线进行光伏组件图像的拍摄，并依靠机载通信模块实现图像到地面站的传输。
[0113]
参照图3，首先通过边缘裁剪裁去输入图像边缘模糊部分，避免模糊部分对故障识别的干扰；通过图像升维便于网络提取图像不同通道的多维度信息；最大池化可以在保留高灰度值等重要特征的同时减小图片尺寸；通过多次卷积操作提取图像底层特征；残差连接结构能够保证之后的卷积提取的特征效果不会差于之前的表现；经过全局平均池化将提取到的底层特征量化为具体数字；由softmax根据数字大小进行softmax分类得到最终的识别结果并输出结果。对resnet-50网络的改进是在原resnet-50网络之前加入1
×
1大小的卷积核对输入热红外图片做升维处理，将原resnet-50网络中7
×
7卷积核更换为三个3
×
3的小卷积核，将原resnet-50网络中平均池化层以及全连接层替换为全局平均池化层(gap)，做这种替换是为了避免全连接层庞大的参数计算，防止网络过拟合。图片由通道组成，而通道由像素点组成，每个像素点有具体的像素值，全局平均池化为每个像素点赋予一个为1的权重，计算各个通道内所有像素点像素值的平均值，再将各个通道所有像素点像素值的平均值拼接起来，形成一个向量，完成了图像到数的转变。
[0114]
在一个实施例中，具体实施步骤如下：
[0115]
1.输入图片
[0116]
2.用3个卷积核对图片进行1
×
1卷积-[0117]
3.用64个卷积核对图片进行3次3
×
3卷积
[0118]
4.用3
×
3卷积核进行一次下采样
[0119]
5.用64个卷积核对图片进行1
×
1卷积，批量归一化，relu非线性激活
[0120]
6.用64个卷积核对图片进行3
×
3卷积，批量归一化，relu非线性激活
[0121]
7.用256个卷积核对图片进行1
×
1卷积，批量归一化
[0122]
8.用256个卷积核对第4步结果进行1
×
1卷积，批量归一化，将结果与第7步结果相加
[0123]
9.重复2次5～7步后，使用relu非线性激活
[0124]
10.用128个卷积核对图片进行1
×
1卷积，批量归一化，relu非线性激活
[0125]
11.用128个卷积核对图片进行3
×
3卷积，批量归一化，relu非线性激活
[0126]
12.用512个卷积核对图片进行1
×
1卷积，批量归一化
[0127]
13.用512个卷积核对第9步结果进行1
×
1卷积，批量归一化，将结果与第12步结果相加
[0128]
14.重复3次10～12步后，使用relu非线性激活
[0129]
15.用256个卷积核对图片进行1
×
1卷积，批量归一化，relu非线性激活
[0130]
16.用256个卷积核对图片进行3
×
3卷积，批量归一化，relu非线性激活
[0131]
17.用1024个卷积核对图片进行1
×
1卷积，批量归一化
[0132]
18.用1024个卷积核对第14步结果进行1
×
1卷积，批量归一化，将结果与第17步结果相加
[0133]
19.重复5次15～17步后，使用relu非线性激活
[0134]
20.用512个卷积核对图片进行1
×
1卷积，批量归一化，relu非线性激活
[0135]
21.用512个卷积核对图片进行3
×
3卷积，批量归一化，relu非线性激活
[0136]
22.用2048个卷积核对图片进行1
×
1卷积，批量归一化
[0137]
23.用2048个卷积核对第19步结果进行1
×
1卷积，批量归一化，将结果与第22步结果相加
[0138]
24.重复2次20～22步后，使用relu非线性激活
[0139]
25.全局平均池化
[0140]
26.由softmax得到识别结果
[0141]
27.输出识别诊断结果，热红外图片得到有无热斑识别结果；
[0142]
参照图4，地面故障诊断模块使用了bagging的集成学习方法，由随机从训练数据集中有放回随机抽取部分训练数据(如输入net1......net n)训练的多个网络模型集合而成，使用多数投票法确定最终的检测结果输出，相比现有的仅依靠单个网络进行的故障识别具有更强的鲁棒性。集成模型各个子网络彼此独立可以并行运行，相比单个网络故障识别具有同一级别的时间复杂度，在提高识别精度的同时并不会增加额外的识别时间。
[0143]
图4为基于多个改进的resnet-50网络的集成模型，顾名思义net1～n均为改进后的resnet-50。输入输出均与图3相同。因为使用了有放回随机抽取的训练方式，所以net1～n的网络架构相同但网络的具体参数不同，表现出的性能也不相同，这也是集成的意义所在。
[0144]
参照图5，机载故障诊断模块搭载了使用多教师知识蒸馏训练的mobilev3轻量网络，相较地面故障诊断模块参数量大大减少，利用了现有训练完成网格的训练结果，相较于直接训练可以获得更高的识别精度。机载故障诊断模块的引入为故障识别系统增加了更多灵活性，相比仅依靠地面站进行的故障识别，能够应对更多复杂的环境情况。一般仅依靠地面站的故障识别想要做到离线巡检，需要让无人机存储巡航拍摄的图片；引入机载故障诊断模块后，可以仅让无人机存储各个位置的识别结果，存储数据量相比图片大大减少，在存储空间一定且假设无人机续航能力足够的时候，引入机载故障诊断模块的离线巡检可以拥有更广阔的巡检范围。
[0145]
机载故障诊断模块处理热红外图像时，同样需要先用3个卷积核对图片进行1
×
1卷积升维。mobilev3网络的训练使用知识蒸馏的方式，本质是将原来训练数据集的hard label改为由教师网络softmax层预测的soft label，通过设置蒸馏温度t使标签平滑化，最大程度利用非正确识别概率的相对大小，蒸馏温度t的选择会在很大程度上影响学生网络
学习结果，总损失totalloss是对softloss及hardloss的加权求和，通过反向传播最小化总损失。使用地面故障诊断模块的改进的resnet-50集成网络作为教师网络，mobilev3作为学生网络。多教师知识蒸馏主要参数可通过以下公式计算：
[0146][0147][0148][0149]
totalloss＝k1*hardloss+k2*softloss(4)
[0150]
其中n为总样本数，m为总类别数，n为教师网络总数，l为其中某一个教师网络，t为蒸馏温度，s为logit得分，i为某一个样本，j为某一种类别，y
ij
为教师网络预测i样本为j类别的概率，x
ij
为学生网络预测i样本为j类别的概率，即输出的预测结果，w1、w2…
wn为加权值，可根据各个教师网络对测试数据的识别表现人为设定权重，此处均取1，k1、k2为加权值，此处均取0.5。
[0151]
假设目前学生网络前向预测出现热斑的logit得分为8，没有出现热斑的logit得分为2，教师网络1预测出现热斑的logit得分为10，没有出现热斑的logit得分为-1，蒸馏温度t＝1时，
[0152][0153]
此时未使用蒸馏，hardloss等价于totalloss。选用蒸馏温度t＝3时，
[0154][0155][0156]
总损失totalloss为：totalloss＝0.1519
[0157]
此时引入教师网络2，假设教师网络2预测出现热斑的logit得分为7，没有出现热斑的logit得分为4，
[0158]
[0159][0160][0161]
总损失total loss为：total loss＝0.2117
[0162]
使用带动量的随机梯度下降法sgdm调整mobilev3网络参数使总损失最小，完成学生网络训练。
[0163]
由于此前训练了多个改进的resnet-50网络，为最大程度利用训练结果，采用多教师的知识蒸馏对mobilev3网络进行训练，此时总soft loss为多个教师网络soft loss的加权平均。知识蒸馏使得在无人机上部署高准确率的故障识别网络成为可能，采用多教师训练也增强了图像识别结果的可靠性，避免了将单教师网络中可能存在的训练不充分性引入学生网络(举个简单的例子，比如让一位老师在一星期教完一个学生语数英数理化等所有的课，老师面对这么多门课在备课时就会显得力不从心；但如果为每科都安排一位老师，每位老师只需要关注他所教的那门课的重点，这样老师就能教给学生更全面的知识。对应到此处，因为每个教师网络使用了不同的训练数据(见图5说明有放回抽取训练数据)，每个训练好的教师网络关注到的是不同的图像底层特征，通过知识蒸馏能够向学生网络转移更加全面的图像底层特征识别方法，进而提高识别的精度与算法的稳健性)。采用知识蒸馏而不是直接对mobilev3网络进行训练的原因是，mobilev3属于轻量模型，相较于大模型参数与对图像的操作次数都更少，直接训练的结果往往识别精度低不能满足实际需要。这是因为神经网络在通过人为标注的数据集进行训练时，由于人为标注的数据只有是或不是而没有标签的相似度信息，网络需要大量的参数与迭代次数来学习这些信息，因此一般情况下，大模型拥有比小模型更好的表现。知识迁移可以将大模型通过大量参数的大量运算而学习到的标签相似度信息转移到小模型中。考虑到无人机由于配重限制无法部署大模型，因此选用该方案将地面站大模型的训练结果迁移至可搭载在无人机上的小模型。
[0164]
参照图6，在通信环境恶劣、需要依靠机载故障诊断模块独立完成故障识别时，图像采集模块将采集到的图像传输给机载故障诊断模块，先对图像进行裁剪，再将裁剪后的图像作为mobilev3网络的输入，得到检测结果。检测结果由一个二进制位表示，0表示未识别到出现热斑，1表示识别到出现热斑。巡检无人机的定位主要依靠gps系统和惯性测量单元，gps系统结合实时差分定位技术rtk可以实现实时定位，且定位精度可达到厘米级。无人机图像采集模块在拍摄目标时，快门记录热红外图像的瞬间会获取无人机当前的gps位置信息和拍摄时间，储存到图像附属的exif信息中为一组数据。机载故障诊断模块按附图3的方法进行最大池化和图像剪裁，对图像升维，作为mobilev3网络输入，将识别结果表示为的二进制数，gps位置信息中的经纬度以及拍摄时间作为一次完整故障识别的报告数据存储在存储模块备份，并同时将报告数据经由机载通信模块，向地面站的地面通信模块传输至地面站系统管理模块。机载通信系统仅传输报告数据，而不传输所拍摄的图像数据，从而大大减少需要传输的数据量。
[0165]
在需要依靠地面站的地面故障诊断模块进行复检的时候，无人机机载通信模块向地面站地面通信模块传输的即为图像信息及附属的exif信息。其中记录的gps位置信息具体包括纬度、经度以及高度，除此之外，exif信息还包括拍摄时间，相机类型，快门速度，光圈大小等拍摄信息。
[0166]
巡检无人机由预先设定的高度匀速沿巡检路线进行拍摄，为保证在不漏拍的同时保持较高的效率，应确保每两张相邻拍摄的图像有大于25％小于40％的重叠范围，且无人机转向时不进行拍摄，仅在正向飞行时进行拍摄。
[0167]
当前市面上主流的红外摄像仪分辨率为320
×
240以及640
×
480，相比分辨率为320
×
240的红外摄像仪，分辨率为640
×
480的红外摄像仪可以获得更好的识别结果，同时也更为昂贵。将图像裁去边缘部分裁剪为224
×
224的格式作为故障诊断模块的输入，做这种裁剪是为了裁去热红外图像的边缘模糊部分以减少对故障识别结果的干扰。巡检无人机搭载分辨率为320
×
240的红外摄像仪时，直接对拍摄的图片进行裁剪；巡检无人机搭载分辨率为640
×
480的红外摄像仪时，拍摄的热红外图像在进行故障识别前，先使用步长为2的最大池化将分辨率调整为320
×
240以适应后续图片裁剪环节输入要求。因为图像灰度值在归一化后，0为黑，1为白，热红外图像中出现热斑的区域灰度值偏高，而步长为2的最大池化实质是用4个相邻像素块中灰度值最高的像素块替换这4个像素块，故采用这种图片压缩方式不会造成信息丢失，且更能捕捉图像中的重要信息。相比传统的在预处理阶段对图像进行滤波操作，本方法对微小故障造成的微小温差带来的微小灰度值上升更为敏感。
[0168]
在一个实施例中，以使用分辨率320
×
240的红外摄像仪为例，图像采集模块拍摄到一张320
×
240大小的单通道热红外图片，快门同时记录无人机此时的位置与拍摄的具体时间，储存到图像附属的exif信息中。随后图像及其附属的exif信息被传输到机载故障诊断模块。机载故障诊断模块仅对图像部分进行处理，而对附属的exif信息仅在输出识别结果时将exif信息中的经纬度以及拍摄时间作为一次完整故障识别的报告数据的一部分进行输出。将大小为320
×
240的热红外图片输入机载故障诊断模块，由于此时不是640
×
480分辨率的图片所以不经过最大池化而直接进行剪裁，裁去图片边缘仅留下图片中心224
×
224的部分。由于mobilev3网络输入为3通道而热红外图片为单通道，所以先对热红外图片使用1
×
1卷积核进行升维处理，转变为3通道。将大小为320
×
240的3通道热红外图片输入mobilev3网络，输出识别结果由0(未出现故障)和1(出现故障)表示，机载故障诊断模块将表示输识别结果的二进制数、gps位置信息中的经纬度以及拍摄时间作为一次完整故障识别的报告数据存储在存储模块备份，并同时将报告数据经由机载通信模块、地面通信模块传输至地面站系统管理模块。
[0169]
参照图7，其中训练数据集来自无人机采集的光伏设备图片数据，数据格式为图片-标签，图片包括正常工作状态下的光伏设备以及出现故障的光伏设备，标签由人为标注，0为未出现故障，1为出现故障。当该训练集用于训练改进的resnet-50网络集成模型时，采用有放回随机抽取的训练方式，这意味着训练每个改进的resnet-50网络的训练数据集成网络都是原始训练数据集的一个子集。当该训练集用于训练mobilev3网络模型时，使用知识蒸馏的训练方式，此时原始训练数据集所以数据均参与训练；训练好的mobilev3网络用于机载故障诊断模块。
[0170]
本发明提供了一种基于热红外图像分析光伏设备故障的系统，通过无人机机载装
置和地面站可以准确、高效地对热斑进行检测。不需要繁琐的参数测量以及数据采集，仅依据拍摄的图片进行故障诊断，从而避免了由测量误差造成的故障漏检、误检；不需要人为设计图像特征提取算子，由卷积神经网络自行提取高维的图像潜在语义特征，从而避免了由算子选取或设计缺陷造成的检测精度损失，阴天等光照不足的情况无需重新设计算法；通过硬实时、软实时诊断相结合的故障诊断策略解决了热红外图像检测实时性差的问题。相比单纯依靠地面站进行故障检测的系统，由机载故障诊断模块带来的边缘计算能力提高了通信状况不佳的情况下故障识别系统的稳定性。