一种基于自编码器的电力无人机巡检边侧设备缺陷识别方法及系统与流程

本发明属于目标检测，更具体地，涉及一种基于自编码器的电力无人机巡检边侧设备缺陷识别方法及系统。

背景技术：

1、随着智能电网的发展，电网正日益成为网络复杂、设备繁多、技术庞杂的综合系统，为保障电力设备设施的运行可靠和有效管理，传统的运维检修方式也已无法满足要求。人工智能与电网应用技术融合，有效的解决了这种问题。尽管目前电力场景中，在边缘侧通过无人机采集数据和神经网络进行检测的巡检方式已经取得了一定进步，但是边缘侧小模型的检测结果仍然不够精确，对于不确定的图片仍然需要人工复核，影响电力无人机巡检的实用性。

2、现有技术中常需要对数据进行标注，但由于部分故障出现的概率较低，异常数据数量较少，使得采集到的数据中各类别的数据分布极不平衡，部分类别的样本出现频率极高，部分类别的样本出现频率极低。导致对现有目标检测网络训练完成后，样本出现频率较高的类别识别精度较高，样本出现频率较低的类别识别精度较低。

3、另外由于嵌入式设备具有体积小、低功耗、可靠性高、成本低等优点，使其很适合在边缘侧部署。然而边缘设备存储和计算资源有限，这限制了可运行的神经网络模型的计算量和大小。

4、现有的缺陷识别方法有：

5、授权公告号cn111126359a的专利公开了一种基于自编码器与yolo算法的高清图像小目标检测方法，实现步骤为：1)采集高清图像并标注，获得训练集和测试集；2)对标注好的训练集进行数据扩充；3)根据标注信息生成对应的mask数据；4)搭建自编码器模型；5)使用训练集对其训练；6)将训练好的自编码器的编码网络与yolo-v3检测网络拼接，得到混合网络并使用训练集对其训练；7)使用训练好的混合网络在测试集上进行目标检测。

6、但是，该专利是先单独训练一个自编码网络，然后将自编码网络的编码器与解码器解耦，在编码器部分与yolov3检测器部分进行拼接，固定编码器网络部分，对新增加的yolov3检测器部分再进行训练。该专利不是端到端的，而是分阶段的，这样效率较低。另外该专利主要对处理小目标时的精度高。

技术实现思路

1、为解决现有技术中存在的不足，本发明提供一种基于自编码器的电力无人机巡检边侧设备缺陷识别方法及系统。

2、本发明采用如下的技术方案。

3、本发明的第一方面提出了一种基于自编码器的电力无人机巡检边缘设备缺陷识别方法，包括以下步骤：

4、s1，边缘设备加载电力无人机历史巡检图像，对历史巡检图像进行预处理，所述预处理包括对图像大小和格式进行调整；

5、s2，构建电力无人机巡检缺陷检测模型，包括训练阶段模型和推理阶段模型，训练阶段模型将s1预处理后的图像数据作为训练样本进行训练，将训练后的训练阶段模型中的解码器模块移除得到推理阶段模型；

6、s3，边缘设备加载电力无人机实时巡检图像，经预处理后输入至推理阶段模型，进行结果后处理，实现对设备缺陷的识别。

7、优选地，在s1中，图像预处理的具体内容为：将图片大小调整到边缘设备在推理过程中能接收的最大输入空间尺寸(h,w)，将图片像素值归一化到[0,1]区间，对图片格式进行转置，转换为(b,c,h,w)的张量，其中，b表示批处理大小，设定为1；c表示一张图像中的通道数，c取值为3，分别代表r、g、b；h表示图像垂直维度的像素数；w表示图像水平维度的像素数。

8、优选地，在s2中，电力无人机巡检缺陷检测模型具体内容为:

9、训练阶段模型包含四个部分：主干网络、特征融合模块、检测器、解码器；主干网络对预处理后的图像进行特征提取得到特征图；特征融合模块对主干网络得到的特征图进行特征融合得到特征融合后的特征图；检测器用于进行目标预测；解码器对主干网络生成的特征进行解码，还原出输入图像，在训练阶段将解码模块作为额外的网络头部进行训练，增加模型学习的信息；训练阶段不断对模型进行优化；

10、推理阶段模型包含三个部分：主干网络、特征融合、检测器，每一部分和训练阶段的对应部分保持相同，推理阶段模型输出缺陷类别预测结果和缺陷目标位置预测结果；

11、缺陷类别预测结果的输出是特征图每个位置的值为每个类别的概率；所述特征图等效为一个四维矩阵，矩阵中的每个值就是特征图的每个位置的值；

12、目标位置预测结果的输出是目标相对于特征图每个位置中心点在左，上，右，下四个方向的偏移量。

13、优选地，所述训练阶段不断对模型进行优化，具体过程为

14、训练中使用损失函数为几个损失函数的加权和：

15、ltotal＝αlcls+βlpos+δldfl+γlmse

16、其中，α、β、δ、γ是权重，α＝0.5、β＝7.5、δ＝1.5、γ＝1；lcls为类别预测结果的交叉熵损失；lpos和ldfl分别为目标位置预测结果的交并比损失和数据平均保真度损失；lmse为解码器生成的图像和原始图像之间的平均平方误差损失；

17、对类别预测结果计算交叉熵损失lcls，对类别预测特征图上的每个位置交叉熵损失计算公式如下：

18、

19、其中，n是类别数目，yi是真实标签，如果该位置对应的目标类别是第i个类，则yi＝1，否则yi＝0；pi是预测的该位置出现的目标是第i个类的概率；对三个特征图所有批的所有位置的交叉熵损失求和得到最终的类别预测损失；

20、对目标位置预测结果计算交并比损失lpos和数据平均保真度损失ldfl，对解码器生成的图像和原始图像之间通过以下函数计算平均平方误差损失：

21、

22、其中w是图像宽度，h是图像高度，b是批处理大小；是解码器生成的图像的第b张图像第c个通道第i行第j列的像素值；是第b张原始图像第c个通道第i行第j列的像素值。

23、优选地，所述主干网络具体为：主干网络包括卷积模块、切分层、bottleneck模块、连接层、池化层组成，经过多次提取特征，输出特征图feat3、特征图feat4；特征图feat3大小为特征图feat4大小为特征图feat5大小为

24、优选地，所述特征融合具体内容为：

25、将feat5通过上采样，然后使用连接层和feat4在通道维度进行连接，随后对得到的特征图使用卷积核大小为1x1、步长为1的卷积模块和卷积核大小为3x3、步长为1的卷积模块进行特征融合得到feat41；

26、随后对feat41通过上采样，然后使用连接层和feat3在通道维度进行连接，随后对得到的特征图使用卷积核大小为1x1、步长为1的卷积模块和卷积核大小为3x3、步长为1的卷积模块进行特征融合得到feat31；

27、对特征图feat31使用卷积核大小为1x1、步长为1的卷积模块和卷积核大小为3x3、步长为1的卷积模块进行特征融合得到feat32；

28、对feat31进行下采样，将下采样结果和feat41进行连接，随后对得到的特征图使用卷积核大小为1x1、步长为1的卷积模块和卷积核大小为3x3、步长为1的卷积模块进行特征融合得到feat42；

29、对特征图feat5使用卷积核大小为1x1、步长为1的卷积模块和卷积核大小为3x3、步长为1的卷积模块进行特征处理得到feat51；

30、对feat42使用下采样，将下采样结果和feat51进行连接，随后对得到的特征图使用卷积核大小为1x1、步长为1的卷积模块和卷积核大小为3x3、步长为1的卷积模块进行特征融合得到feat52。

31、优选地，所述特征图进行上采样的过程如下：

32、上采样，输入特征图空间大小为w×h，期望的输出特征图空间大小为2w×2h；对于输出特征图中的每个位置(i,j)，首先映射坐标，根据上采样比例，确定(i,j)在输入特征图中的对应位置(i',j')，公式为：

33、

34、将它映射到最近的整数坐标，计算公式为：

35、

36、四个最近邻像素在输入特征图中的对应位置坐标分别是(i',j'),(i'+1,j'),(i',j'+1)和(i'+1,j'+1)，根据这四个像素的值和它们的权重，计算目标像素的值，公式为：

37、iout(i,j)＝w1iin(i',j')+w2iin(i'+1,j')+w3iin(i',j'+1)+w4iin(i'+1,j'+1)

38、其中，w1,w2,w3,w4分别对应(i',j),(i'+1,j'),(i',j'+1)和(i'+1,j'+1)四个像素的权重；iout(i,j)是输出特征图(i,j)位置的特征值，iin(i',j')是输入特征图(i',j')位置的特征值，重复上述步骤，直到输出特征图中所有目标位置都被填充。

39、优选地，所述四个像素的权重具体为：

40、w1＝(i'+1-i”)(j'+1-j”)

41、w2＝(i'+1-i”)(j”-j')

42、w3＝(i”-i')(j'+1-j”)

43、w4＝(i”-i')(j”-j')

44、其中，w1,w2,w3,w4分别对应(i',j),(i'+1,j'),(i',j'+1)和(i'+1,j'+1)四个像素的权重。

45、优选地，所述检测器具体内容为：检测器中使用无锚点检测头，检测器分别进行目标位置预测和目标类别预测，目标位置预测对目标左上角和右下角到特征图上每个特征位置在原图中中心点的距离lt和rb进行预测，目标类别预测对特征图上每个特征位置最邻近的目标类别进行预测。

46、优选地，所述解码器的具体内容为：解码器和主干网络保持相反的结构，包括卷积反模块；切分层、连接层、debottleneck模块、转置卷积模块，解码器模块的输入为来自主干网络的特征feat5，输出为大小(h,w)的图片。

47、优选地，在s3中，所述后处理为对检测结果使用置信度阈值进行过滤，该阈值为0.001；对检测结果分类别进行非极大值抑制处理；将检测结果根据图像的缩放平移情况映射回原图中。

48、本发明的第二方面提出了一种基于自编码器的电力无人机巡检边侧设备缺陷识别系统，使用本发明的第一方面所述方法，包括以下模块：

49、图像预处理模块，调整图像的大小和格式；

50、训练模块，使用训练阶段缺陷检测模型对图像数据进行训练，将训练后的训练模型中的解码器模块移除得到推理阶段模型；

51、设备缺件识别模块，通过由训练模块得到的推理阶段模型进行缺陷检测，检测缺陷的类别和位置；

52、判断模块，进行后处理，后处理后判断数据是否处理完成。

53、本发明的有益效果在于，与现有技术相比，

54、本专利提出一种基于自编码器的电力无人机巡检边侧设备缺陷识别方法及系统，该方法采用轻量化的设计，实现在边缘设备上快速推理；模型中引入了自编码器的思想，将原来的主干网络看作是编码器，增加了解码器，图像自编码器的训练目标是最小化重构误差，即使得解码器的输出尽可能接近输入数据。通过限制编码器和解码器之间的信息流动，模型能够学习到输入数据的紧凑表示，这些表示通常具有比原始数据更高层次的抽象特征，但又保留了丰富的原始数据信息使解码器能够根据这些信息恢复原始数据。根据主干网络结构，设计了一种相应的解码器网络结构，增加的解码器和网络的部分相对独立，在推理成中可以移除，加快模型的推理速度，并且不影响模型精度。检测器中使用无锚点检测头，能够更准确地预测目标的边界框，因为它不再受限于预设锚点框的约束。这有助于模型在处理各种形状和大小的目标时表现出更高的精度。