基于无人机的高铁接触网吊弦螺母缺陷检测方法

1.本发明涉及一种接触网检测技术，具体地说是一种基于无人机的高铁接触网吊弦螺母缺陷检测方法。


背景技术：

2.高铁接触网作为电气化铁路的重要组成部分，直接影响着铁路系统的正常运行。吊弦是高速铁路接触网的重要部件之一，接触线通过吊弦挂在承力索上，通过调节吊弦长度可以保证结构高度，提高受电弓取流质量。
3.但由于环境的影响，包括温度湿度等的变化，会导致高速铁路接触网吊弦上螺母发生松动或缺失。如果吊弦螺母有缺陷，就会导致吊弦悬挂状态不稳定，产生吊弦脱落和打击受电弓的现象，造成受电弓损坏和发生行车事故等一系列危害。
4.现在接触网的检测方式主要是通过人工巡检和接触网悬挂状态检测装置（4c）来进行，人工巡检通过步行巡视和登程巡视来进行，巡检效率低下，流程比较繁琐，危险系数也比较高。在4c装置巡检过程中，吊弦与承力索相接处也就是吊弦上部螺母位置是现在4c巡检系统的拍摄盲区，并且4c装置检测图像效率低下，高速铁路接触网的小目标部件很容易发生漏检误检。
5.由于大风温度湿度等环境因素的经常性影响，吊弦螺母不定时会发生松动和缺失，迅速检测出吊弦螺母缺陷位置并及时检修就显得非常重要。


技术实现要素：

6.本发明的目的就是提供一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，以解决现在吊线螺母缺陷检测效率低的问题。
7.本发明是这样实现的：一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，包括以下步骤。
8.a.使用无人机沿铁路线进行视频拍摄，获得接触网吊线上部螺母区域的视频图像，由视频图像得到包含吊弦上部螺栓螺母结构的现场样本图片。
9.b.人工制作并合成吊弦螺母具有缺陷的图片，通过生成对抗网络生成缺陷样本图片。
10.c.对缺陷样本图片进行数据增强后与现场样本图片一同送入目标检测网络。
11.d.对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重进行预测，得到每个样本图片的目标检测框坐标和置信度。
12.e.根据得到的目标检测框，将目标检测框坐标不在图片中间部位的样本图片进行删除，剩下的样本图片根据目标检测框坐标进行裁剪，去除无关背景信息。
13.f.将裁剪后的样本图片送入语义分割网络，分隔类别包括背景、螺母以及外露螺栓，对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重对需要分割的样本图片进行语义分割，得到每个样本图片中目标类别的分割结果。
14.g.根据语义分割网络的分割结果，得到样本图片中每一个像素点的种类，对图片中外露螺栓像素个数以及螺母像素个数分别进行求和，再求取两者比值并分析比值结果，确定图片中螺母的状态。
15.进一步地，在步骤b中，人工构建吊弦螺母具有缺陷的实物场景，拍摄图片后使用软件合成得到吊弦螺母具有缺陷的图片，根据吊弦螺母具有缺陷的图片利用生成对抗网络生成缺陷样本图片。
16.进一步地，在步骤c中，对缺陷样本图片分别做亮度、噪声、旋转和翻转的形态学操作，并对同一小目标在图像中进行多次复制，增加图像中小目标的数量。
17.进一步地，目标检测网络包含特征提取模块、注意力机制模块、特征融合模块和预测解码模块，通过特征提取模块输出样本图片的四次有效特征层，将四次有效特征层输入至注意力机制模块，对输入进来的单个特征层，分别依次进行通道注意力机制的处理和空间注意力机制的处理，然后输出至特征融合模块，由特征融合模块将获得的四个有效特征层进行加权特征融合，以将不同尺度的特征图之间相互融合，最后通过预测解码模块得到预测框的位置。
18.进一步地，注意力机制模块对输入进来的单个特征层，做基于通道的全局最大池化，对最大池化的结果，利用全连接层进行处理，然后取激活函数sigmoid，获得输入的单个特征层每一个通道的权值，将权值与输入的单个特征层相乘后输出；对输入进来的单个特征层，进入空间注意力机制模块，做平均池化和最大池化处理，获得权值后，将权值与输入的单个特征层相乘后输出。
19.进一步地，对经过注意力机制模块输出四个有效特征层，特征融合模块将输出的有效特征层进行从下到上的特征提取后，再进行从上到下的特征提取。
20.进一步地，在步骤e中，将样本图片沿x方向分为四等份，如果目标检测框全部位于中间两份组成的区域中，则保留该样本图片，否则将样本图片删除。
21.进一步地，在步骤g中，若螺母像素个数求和为0，螺栓素个数与螺母素个数的比值为无解，即判断为螺母缺失；若螺栓素个数与螺母素个数的比值大于0.787，即判断为螺母正常；若螺栓素个数与螺母素个数的比值小于等于0.787，即判断为螺母松动。
22.进一步地，在步骤a中，在高速铁路夜间天窗期利用无人机搭载夜航灯沿铁路线进行视频拍摄，保持无人机摄像头垂直铁路沿线，利用无人机多倍变焦模式，固定高度和镜头角度拍摄纹理清晰的吊弦上部螺栓螺母结构，获得视频图像，读取视频的每一帧并对每一帧或者每隔几帧进行截图保存操作，得到大量现场样本图片。
23.本发明首先利用无人机巡检采集样本图片，利用生成对抗网络生成缺陷样本，对缺陷样本进行数据增强后送入构建的目标检测网络，对目标进行定位。根据定位结果对拍摄过偏的目标进行删除后裁剪目标框，将其送入构建的语义分割网络，对目标的外露螺栓和螺母部分进行像素级分割，对于分割结果进行阈值判断完成检测。
24.本发明利用无人机巡检的方式，可以很好的弥补4c装置拍摄缺陷。结合深度学习技术以及无人机拍摄的高速铁路接触网上的吊弦上部螺母的图像特点，能够实现高速铁路接触网吊弦上部螺母的自动辨识、定位以及螺母缺陷的检测，可以高效安全的保障高速铁路接触网上的吊弦安全状态。操作简单，高效便捷，安全系数高，需要人力少。
附图说明
25.图1是本发明的流程图。
26.图2是本发明生成的缺陷样本图片。
27.图3是本发明目标检测网络结构图。
28.图4是本发明目标检测结果示意图。
29.图5是本发明目标检测框在图片中间部位和不在图片中间部位的示意图。
30.图6、图7分别为本发明对样本图片根据目标检测框坐标进行裁剪前后的示意图。
31.图8为本发明语义分割的效果图。
32.图9为对比实验误检效果图。
具体实施方式
33.如图1所示，本发明的一种基于无人机的高铁接触网吊弦螺母缺陷检测方法，包括以下步骤。
34.a.使用无人机沿铁路线进行视频拍摄，获得接触网吊线上部螺母区域的视频图像，由视频图像得到包含吊弦上部螺栓螺母结构的现场样本图片。
35.具体的，在高速铁路夜间天窗期利用无人机搭载夜航灯沿铁路线进行视频拍摄，保持无人机摄像头垂直铁路沿线，利用无人机多倍变焦模式，固定高度和镜头角度拍摄纹理清晰的吊弦上部螺栓螺母结构，获得视频图像。
36.将得到的视频利用python-opencv模块中的cv2.videocapture指令来读取视频。利用cv2.videocapture.read()读取视频的每一帧，使用for循环遍历。使用cv2.imwrite对每一帧或者每隔几帧进行截图保存操作，即可得到大量高速铁路接触网吊弦螺母现场的照片，即得到大量现场样本图片。
37.b.人工制作并合成吊弦螺母具有缺陷的图片，通过生成对抗网络生成缺陷样本图片。
38.由于吊弦螺母缺陷为重大的铁路供电安全隐患，铁路部门发现后会马上进行维修，所以吊弦螺母缺陷的故障数据较难采集，导致完好的正样本与故障的负样本在数量上严重不均衡，实际拍摄包含四季中晴天、阴雨天的多条线路样本，且正样本数量远大于负样本数量。为了避免正样本图重复拍摄及故障样本不足导致无法获取充足特征信息的问题，一方面删除了部分不可用正样本数据，另一方面对故障负样本通过深度卷积生成对抗网络生成缺陷样本。
39.具体的，在实验室进行绿幕搭建，人工构建吊弦螺母具有缺陷的实物场景，拍摄图片后使用软件合成得到吊弦螺母具有缺陷的图片，根据吊弦螺母具有缺陷的图片利用生成对抗网络生成缺陷样本图片。
40.生成对抗网络包含生成器和判别器，通过生成对抗网络生成缺陷样本图片包括以下两部分。
41.判别网络的构建：随机选取batch_size个真实的图片，随机生成batch_size个n维向量，传入到生成器中生成batch_size个虚假图片。真实图片的label为1，虚假图片的label为0，将真实图片和虚假图片当作训练集传入到判别器中进行训练，得到loss值。判别器采用5层卷积神经网络，每一层都使用批量归一化以及leakyrelu激活函数，最后一层的
激活函数是sigmoid，通过最后的全连接层判断结果。
42.生成网络的构建：对于输入进来的图片，利用一个全连接，将输入长条全连接到16,384（4x4x1024）这样一个长度上，之后对全连接的结果进行reshape，使它变成(4,4,1024)的特征层。生成器采用5层转置卷积操作，每一层都使用批量归一化以及leakyrelu激活函数，最后一层的激活函数是tanh，输出得到假图片。将虚假图片的判别网络的预测结果与真实图片的对比作为loss对生成网络再进行训练。训练过程中可查看生成的训练样本和loss值。
43.c.对缺陷样本图片进行数据增强后与现场样本图片一同送入目标检测网络。
44.具体的，对缺陷样本图片分别做亮度、噪声、旋转和翻转的形态学操作，进一步提高模型的泛化能力。并对同一小目标在图像中进行多次复制，增加图像中小目标的数量，提升小目标被学习到的机会，得到最终的缺陷样本图片，如图2所示。然后将缺陷样本图片和现场样本图片一同送入目标检测网络进行目标检测。
45.d.对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重进行预测，得到每个样本图片的目标检测框坐标和置信度。
46.其中，目标检测网络包含特征提取模块、注意力机制模块、特征融合模块和预测解码模块，通过特征提取模块输出样本图片的四次有效特征层，将四次有效特征层输入至注意力机制模块，对输入进来的单个特征层，分别依次进行通道注意力机制的处理和空间注意力机制的处理，然后输出至特征融合模块，由特征融合模块将获得的四个有效特征层进行加权特征融合，以将不同尺度的特征图之间相互融合，最后通过预测解码模块得到预测框的位置。
47.目标检测网络通过改进yolov4-tiny网络，通过融合注意力机制和加强特征提取的改进方法，以使其更适用于小目标螺母的检测，包含特征提取模块、注意力机制模块、特征融合模块和预测解码模块来对训练样本进行监督学习。网络结构如图3所示，目标检测的结果如图4所示。
48.具体的，特征提取算法选择cspdarknet53_tiny作为主干特征提取网络，输出底层的四次有效特征层c4、c5、c6、c7，c4、c5、c6、c7分别进入注意力机制模块。
49.注意力机制模块对输入进来的特征层，分别依次通道注意力机制的处理和空间注意力机制的处理。对输入进来的单个特征层，首先做基于通道的全局最大池化。由于样本图片中目标样本小，图片的大部分为背景。最大值池化在进行梯度反向传播计算时，只有特征图中响应最大的地方有梯度的反馈。对最大池化的结果，利用全连接层进行处理，然后取激活函数sigmoid，获得输入特征层每一个通道的权值。将权值乘上一开始进入注意力机制的有效特征层即可得到通道注意力模块的输出。之后进入空间注意力机制模块，对输入进来的单个特征层，做平均池化和最大池化处理，获得权值后，将权值乘上一开始进入注意力机制的有效特征层即可输出。通过注意力机制模块可以有效的提高对小目标的检测精度。
50.对经过注意力机制模块输出四个有效特征层，特征融合模块将一个shape的有效特征层卷积后进行上采样，然后与上一个shape的有效特征层进行堆叠并卷积。
51.具体如图3所示， c4、c5、c6、c7经过注意力机制模块输出四个有效特征层，c6的特征图经过注意力机制处理后进行上采样，与c5的特征图拼接，然后把拼接之后的特征图经过卷积层和bn层，输出得到p5特征图。经过这样的结构，所以p5可以学到来自c6更深层的语
义。c7的特征图经过注意力机制后得到p7，c5的特征图经过注意力机制处理后进行上采样，与c4的特征图拼接，然后把拼接之后的特征图经过卷积层和bn层，输出得到p4，p4可以学到来自c5更深层的语义。然后p4经过下采样与p5融合，p6经过下采样与p7融合，分别完成yolo head的输出。特征融合模块可以让不同尺度的特征图之间互相融合，来增强特征图表征能力，对小目标检测精度有很大提升。
52.经特征融合输出后的两个特征层shape分别为(19,19,18)，(38,38,18)，进入预测解码模块。
53.预测解码阶段最后的输出层的shape分别为(19,19,18)，(38,38,18)，最后一个维度为18，是因为本次预测的类为1种，网络只有针对每一个特征层存在3个先验框，所以最后维度为3*（5+1）。其中（5+1）中的5表示5个参数分别为目标检测框的左上角坐标x、y和高宽h、w以及预测的置信度c，1表示现在的类别个数为一种。特征层分别将整幅图分为19x19、38x38的网格，每个网格点负责一个区域的检测。解码过程就是将每个网格点加上它对应的x和y，再利用h、w结合计算出检测框的长和宽，这样就能得到整个预测框的位置。
54.e.根据得到的目标检测框，将目标检测框坐标不在图片中间部位的样本图片进行删除，剩下的样本图片根据目标检测框坐标进行裁剪，去除无关背景信息。
55.根据上一步目标检测获取的目标检测框，在目标检测网络中取出坐标。坐标点c点为目标检测框左上角坐标（x1,y1）、d点为目标检测框右下角坐标（x2,y2），由于特定的拍摄方式，理想情况下目标应一直处在样本图片的中间部位，对于不在中间部位的目标图像，需要进行去除。如图5、图6所示，将原图像沿x方向等分为四份，取原图像的四分之一处左上角a点坐标（x3,y3）和四分之三处右下角b点坐标值(x4,y4)。若满足x1》x3，x2《x4，y1》y3，y2《y4，即目标检测框在样本图片中间两部分组成的范围内，保留该样本图片。不在此范围的图片视为角度偏移进行删除。操作后得到的目标都会在样本图片的中间部位，防止因为角度偏移造成后续阈值判断失误。
56.无人机巡检采集的图片像素大小是1980*1080，取原图片四分之一处左上角坐标值为(1920/4,0)，四分之三处右下角坐标为（1920*3/4,1080）。对目标检测框坐标可以在目标检测网络中获取，按上述方式利用python-for循环指令进行比较，得到需要删减的图片进行删除。
57.删除后剩下的样本图片根据目标检测框坐标进行裁剪，用以去除无关背景信息防止对目标信息干扰。对于删减完的样本图片运用python-cropped指令和cv2.imwrite指令完成对于目标检测框的裁剪和输出保存。裁剪后图片如图7所示。
58.f.将裁剪后的样本图片送入语义分割网络，分隔类别包括背景、螺母以及外露螺栓，对样本图片进行图像标注，先进行网络训练得到权重，再调用训练权重对需要分割的样本图片进行语义分割，得到每个样本图片中目标类别的分割结果。语义分割效果如图8所示，图8中左边三幅图由上至下依次为螺母正常、螺母缺失和螺母松脱，右边为对应的经过语义分割后的图，将背景、螺母以及外露螺栓以不同的颜色表示。
59.具体的，对裁剪后的样本图片进行像素级别的语义分割操作，分割类别0为背景，分割类别1为螺母，分割类别2为外露螺栓部分。语义分割网络使用deeplabv3+，分为特征提取模块，多尺度特征信息模块，注意力机制模块和融合信息进行预测的模块。
60.采用xception作为基础网络架构提取低层和高层特征，通过空间金字塔池化提取
多尺度特征信息，然后将多尺度特征输入到注意力机制模块中，增强网络模型的分类能力；最后，聚合xception低层特征与多尺度高层特征，通过卷积和上采样得到模型预测结果。本发明通过低层特征多尺度空间信息融合减少网络逐层卷积池化导致的边缘信息损失，提高了分割精度，通过引入空间注意力机制模块聚合多尺度上下文信息，增强网络模型的分类能力。
61.g.根据语义分割网络的分割结果，得到样本图片中每一个像素点的种类，对图片中外露螺栓像素个数以及螺母像素个数分别进行求和，再求取两者比值并分析比值结果，确定图片中螺母的状态。
62.吊弦螺母的状态分为：螺母正常、螺母缺失和螺母松脱三种。本实施例中，螺母的类别为1，螺栓的类别为2。调用python-counter指令分别统计类别为螺母和螺栓的像素个数，统计完后调用python-sum指令对图片中外露螺栓像素、螺母像素分别进行求和，再进行比值。
63.分析比值结果：若螺母像素个数求和为0，螺栓素个数与螺母素个数的比值为无解，即判断为螺母缺失；若螺栓素个数与螺母素个数的比值大于0.787，即判断为螺母正常；若螺栓素个数与螺母素个数的比值小于等于0.787，即判断为螺母松动。
64.外露螺栓的像素和在松脱状态下相较于拧紧状态下像素数量会减小，螺栓素个数与螺母素个数的比值会变小。对大量图片进行实验后，确定阈值为0.787。小于该阈值的样本图片即为螺母松脱的状态，大于该阈值的样本图片即为螺母拧紧状态。
65.取实际拧紧图270张、松脱图100张、缺失图30张，进行验证实验，经多次检测，误检率保持在5%以下，实验结果如表一。
66.验证利用本发明方法进行吊弦螺母缺陷检测的有效性，进行对比实验：利用目标检测网络mask rcnn对螺母缺陷样本进行判别，螺母缺失标记为queshi，螺母松动标记为songdong，螺母正常标记为zhengchang。由于背景干扰、正负样本过于相似等，经检测后误检率达到20%以上。误检效果如图9所示，左图为背景干扰检测效果图，右图为检测结果误检图。相比于直接利用目标检测网络判定螺母状态的方法，本发明方法有效解决了误检问题，且检测的置信度有显著提升。
67.本发明首先利用无人机巡检采集样本图片，利用生成对抗网络生成缺陷样本，对缺陷样本进行数据增强后送入构建的目标检测网络，对目标进行定位。根据定位结果对拍摄过偏的目标进行删除后裁剪目标框，将其送入构建的语义分割网络，对目标的外露螺栓和螺母部分进行像素级分割，对于分割结果进行阈值判断完成检测。
68.本发明利用无人机巡检的方式，可以很好的弥补4c装置拍摄缺陷。结合深度学习
技术以及无人机拍摄的高速铁路接触网上的吊弦上部螺母的图像特点，能够实现高速铁路接触网吊弦上部螺母的自动辨识、定位以及螺母缺陷的检测，可以高效安全的保障高速铁路接触网上的吊弦安全状态。操作简单，高效便捷，安全系数高，需要人力少。