基于深度学习的接触网悬挂部件故障检测方法和装置与流程

本发明涉及图像处理，尤其涉及一种基于深度学习的接触网悬挂部件故障检测方法和装置。

背景技术：

1、在相关技术中，cn115100580a公开了一种异物检测方法、装置、终端及计算机可读存储介质，异物检测方法包括对待处理运动图像帧中包含的待检测目标进行特征提取，得到待处理运动图像帧的目标特征信息；待处理运动图像帧是视频流中的一帧图像；基于待处理运动图像帧的目标特征信息和参考运动图像帧的目标特征信息，确定待检测目标的轮廓分布特征；参考运动图像帧至少包括视频流中待处理运动图像帧之前和/或之后的运动图像帧；基于待检测目标的轮廓分布特征，确定待处理运动图像帧中是否存在异物。

2、 cn115294451a公开了一种高压线上异物检测方法及装置，属于机器视觉图像处理技术领域，方法包括：通过摄像头采集目标图像；通过目标检测网络获取目标图像中的电线杆以及三角架的位置信息；选取在目标图像中所占的显示面积最大的第一电线架设装置和第二电线架设装置；确定第一电线架设装置在目标图像中对应的第一感兴趣区域和第二电线架设装置在目标图像中对应的第二感兴趣区域；根据第一感兴趣区域与第二感兴趣区域，确定架设于电线杆和三角架上的接触网欲旋转至水平方向的旋转角度；将目标图像、第一感兴趣区域和第二感兴趣区域旋转相应的角度后进行切分，以得到接触网图像；通过孪生网络模型对接触网图像进行分类，以确定接触网图像中是否存在异物。

3、 cn114970904a公开了一种基于缺陷处理的接触网运营维修资源数字化调整方法，包括以下步骤：统计历史缺陷记录表排名前n项零部件和设备，历史维修记录表排名前m项零部件和设备；根据排名前m项零部件和设备调整单项维修计划工作人时；按照锚段为单位的历史缺陷记录表调整维修资源配给量；将排名前n项零部件和设备的缺陷作为设备质量指标修正接触网系统健康状态指标，并进行接触网系统健康状态评价，计算接触网处于亚健康及以下的健康度计算时间点，分配维修计划工作人时和维修资源配给量。

4、综上，在相关技术中，可基于接触网部分的图像来识别接触网上的异物和故障，但是均未考虑当摄像机设置于列车之上时，由于列车的高速运动，难以对拍摄的视频中发生高速运动的接触网部件进行识别的情况，也无法基于对于接触网的识别来自动调节列车的接触部件，从而降低故障发生的概率，且不能自动确定接触网是否存在故障。

5、公开于本技术背景技术部分的信息仅仅旨在加深对本技术的一般背景技术的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域技术人员所公知的现有技术。

技术实现思路

1、本发明涉及一种基于深度学习的接触网悬挂部件故障检测方法和装置，所要解决的问题是在高速运动的列车上识别接触网悬挂部件的分类，并确定接触网悬挂部件是否存在故障。

2、本发明提供一种基于深度学习的接触网悬挂部件故障检测方法，包括：

3、根据设置在列车上的动态视觉感受器和相机，同时对列车上方进行预设时间段的拍摄，获得所述相机拍摄的至少两个运动图像帧，以及所述动态视觉感受器拍摄的多个动态视觉图像，其中，所述动态视觉图像的数量多于运动图像帧的数量，所述动态视觉图像和所述运动图像帧中均包括接触网悬挂部件，所述相机和所述动态视觉感受器的视野相同，且位于所述接触网悬挂部件的斜下方；

4、在至少两个运动图像帧中，确定所述接触网悬挂部件所在的第一区域；

5、根据所述第一区域，对所述多个动态视觉图像进行筛选，获得目标动态视觉图像；

6、将目标动态视觉图像和至少两个运动图像帧输入分类网络模型进行处理，获得所述接触网悬挂部件的类型；

7、根据所述接触网悬挂部件的类型，以及至少两个运动图像帧，确定所述接触网悬挂部件的故障检测结果；

8、其中，根据所述第一区域，对所述多个动态视觉图像进行筛选，获得目标动态视觉图像，包括：

9、在所述第一区域中，确定所述接触网悬挂部件的接触线所在的第二区域；

10、在所述多个动态视觉图像中，筛选出在所述第二区域中的像素点数量大于或等于第一预设数量的备选动态视觉图像；

11、在所述第一区域中，确定所述接触网悬挂部件的牵引索所在的第三区域；

12、在所述备选动态视觉图像中筛选出在所述第三区域中的像素点数量大于或等于第二预设数量，或者小于或等于第三预设数量的所述目标动态视觉图像，所述第二预设数量大于所述第三预设数量。

13、在本发明的一些实施例中，将目标动态视觉图像和至少两个运动图像帧输入分类网络模型进行处理，获得所述接触网悬挂部件的类型，包括：

14、将至少两个运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一特征图；

15、将所述第一特征图和所述目标动态视觉图像进行特征融合，获得第二特征图；

16、将所述第二特征图输入所述分类网络模型的解码层，获得所述接触网悬挂部件的类型。

17、在本发明的一些实施例中，将所述第一特征图和所述目标动态视觉图像进行特征融合，获得第二特征图，包括：

18、将所述目标动态视觉图像进行放缩，获得与所述第一特征图尺寸相同的放缩图像；

19、将所述放缩图像中与所述第一区域对应的区域的像素值，以及所述第一特征图中与所述第一区域对应的区域的像素值进行求和，获得所述第二特征图。

20、在本发明的一些实施例中，所述方法还包括：

21、将样本运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一样本特征图；

22、将样本动态视觉图像与所述第一样本特征图进行特征融合，获得第二样本特征图；

23、将所述第二样本特征图输入所述分类网络模型的解码模块，获得解码特征信息；

24、根据所述解码特征信息，获得预测分类结果；

25、根据所述预测分类结果、所述解码特征信息以及与所述样本运动图像帧对应的标注信息，确定所述分类网络模型的损失函数；

26、通过所述损失函数对所述分类网络模型进行训练，获得训练后的分类网络模型。

27、在本发明的一些实施例中，根据所述预测分类结果、所述解码特征信息以及与所述样本运动图像帧对应的标注信息，确定所述分类网络模型的损失函数，包括：

28、根据所述预测分类结果和所述标注信息，确定类别损失函数；

29、根据所述解码特征信息和所述标注信息，确定位置损失函数；

30、根据所述类别损失函数和所述位置损失函数，确定所述分类网络模型的损失函数。

31、 在本发明的一些实施例中，根据所述解码特征信息和所述标注信息，确定位置损失函数，包括：

32、根据公式

33、

34、确定所述位置损失函数，其中，sp为位置损失函数，n为所述解码特征信息中接触网悬挂部件所在的第一区域中的像素值不为0的像素点数量，n1为所述解码特征信息中接触线所在的第二区域的中像素值不为0的像素点的数量，n2为所述解码特征信息中牵引索所在的第三区域的中像素值不为0的像素点的数量，（x2,i，y2,i）为所述解码特征信息中接触线所在的第二区域中的像素点，（x3,k，y3,k）为所述解码特征信息中牵引索所在的第三区域中的像素点，（xc,i，yc,i）为所述标注信息的接触线所在位置中，与（x2,i，y2,i）的位置最接近的像素点，（xc,k，yc,k）为所述标注信息的接触线所在位置中，与（x3,k，y3,k）的位置最接近的像素点，（xd,k，yd,k）为所述标注信息的牵引索所在位置中，与（x3,k，y3,k）的位置最接近的像素点，t=0表示标注信息标注的类型为不含牵引索的简单接触悬挂，t=1表示标注信息标注的类型为含有牵引索的链形接触悬挂。

35、在本发明的一些实施例中，

36、根据所述接触网悬挂部件的类型，以及至少两个运动图像帧，确定所述接触网悬挂部件的故障检测结果，包括：

37、在至少两个运动图像帧中，确定所述接触网悬挂部件的接触线的弧度；

38、根据所述接触网悬挂部件的类型，以及所述接触线的弧度，确定所述故障检测结果。

39、本发明提供一种基于深度学习的接触网悬挂部件故障检测装置，所述装置包括：

40、拍摄模块，用于根据设置在列车上的动态视觉感受器和相机，同时对列车上方进行预设时间段的拍摄，获得所述相机拍摄的至少两个运动图像帧，以及所述动态视觉感受器拍摄的多个动态视觉图像，其中，所述动态视觉图像的数量多于运动图像帧的数量，所述动态视觉图像和所述运动图像帧中均包括接触网悬挂部件，所述相机和所述动态视觉感受器的视野相同，且位于所述接触网悬挂部件的斜下方；

41、第一区域模块，用于在至少两个运动图像帧中，确定所述接触网悬挂部件第一区域；

42、筛选模块，用于根据所述第一区域，对所述多个动态视觉图像进行筛选，获得目标动态视觉图像；

43、分类模块，用于将目标动态视觉图像和至少两个运动图像帧输入分类网络模型进行处理，获得所述接触网悬挂部件的类型；

44、故障检测模块，用于根据所述接触网悬挂部件的类型，以及至少两个运动图像帧，确定所述接触网悬挂部件的故障检测结果；

45、其中，所述筛选模块进一步用于：

46、在所述第一区域中，确定所述接触网悬挂部件的接触线所在的第二区域；

47、在所述多个动态视觉图像中，筛选出在所述第二区域中的像素点数量大于或等于第一预设数量的备选动态视觉图像；

48、在所述第一区域中，确定所述接触网悬挂部件的牵引索所在的第三区域；

49、在所述备选动态视觉图像中筛选出在所述第三区域中的像素点数量大于或等于第二预设数量，或者小于或等于第三预设阈值的所述目标动态视觉图像，所述第二预设数量大于所述第三预设数量。

50、在本发明的一些实施例中，所述分类模块进一步用于：

51、将至少两个运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一特征图；

52、将所述第一特征图和所述目标动态视觉图像进行特征融合，获得第二特征图；

53、将所述第二特征图输入所述分类网络模型的解码层，获得所述接触网悬挂部件的类型。

54、在本发明的一些实施例中，所述分类模块进一步用于：

55、将所述目标动态视觉图像进行放缩，获得与所述第一特征图尺寸相同的放缩图像；

56、将所述放缩图像中与所述第一区域对应的区域的像素值，以及所述第一特征图中与所述第一区域对应的区域的像素值进行求和，获得所述第二特征图。

57、在本发明的一些实施例中，所述装置还包括训练模块，用于：

58、将样本运动图像帧输入所述分类网络模型的编码模块的输入层，获得编码模块输出的第一样本特征图；

59、将样本动态视觉图像与所述第一样本特征图进行特征融合，获得第二样本特征图；

60、将所述第二样本特征图输入所述分类网络模型的解码模块，获得解码特征信息；

61、根据所述解码特征信息，获得预测分类结果；

62、根据所述预测分类结果、所述解码特征信息以及与所述样本运动图像帧对应的标注信息，确定所述分类网络模型的损失函数；

63、通过所述损失函数对所述分类网络模型进行训练，获得训练后的分类网络模型。

64、在本发明的一些实施例中，所述训练模块进一步用于：

65、根据所述预测分类结果和所述标注信息，确定类别损失函数；

66、根据所述解码特征信息和所述标注信息，确定位置损失函数；

67、根据所述类别损失函数和所述位置损失函数，确定所述分类网络模型的损失函数。

68、 在本发明的一些实施例中，所述训练模块进一步用于：

69、根据公式

70、

71、确定所述位置损失函数，其中，sp为位置损失函数，n为所述解码特征信息中接触网悬挂部件所在的第一区域中的像素值不为0的像素点数量，n1为所述解码特征信息中接触线所在的第二区域的中像素值不为0的像素点的数量，n2为所述解码特征信息中牵引索所在的第三区域的中像素值不为0的像素点的数量，（x2,i，y2,i）为所述解码特征信息中接触线所在的第二区域中的像素点，（x3,k，y3,k）为所述解码特征信息中牵引索所在的第三区域中的像素点，（xc,i，yc,i）为所述标注信息的接触线所在位置中，与（x2,i，y2,i）的位置最接近的像素点，（xc,k，yc,k）为所述标注信息的接触线所在位置中，与（x3,k，y3,k）的位置最接近的像素点，（xd,k，yd,k）为所述标注信息的牵引索所在位置中，与（x3,k，y3,k）的位置最接近的像素点，t=0表示标注信息标注的类型为不含牵引索的简单接触悬挂，t=1表示标注信息标注的类型为含有牵引索的链形接触悬挂。

72、在本发明的一些实施例中，所述故障检测模块进一步用于：

73、在至少两个运动图像帧中，确定所述接触网悬挂部件的接触线的弧度；

74、根据所述接触网悬挂部件的类型，以及所述接触线的弧度，确定所述故障检测结果。

75、本发明还提供一种基于深度学习的接触网悬挂部件故障检测设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。

76、本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。

77、根据本发明的实施例的基于深度学习的接触网悬挂部件故障检测方法，可将动态视觉感受器和相机设置在列车上，动态视觉感受器的帧率较高，适于对高速运动的物体进行拍摄，因此，可用于在高速运动中对接触网悬挂部件进行识别和分类。进一步地，还可利用目标动态视觉图像增强分类网络模型的特征，提升识别和分类的准确性，从而在高速运行的列车上识别接触网悬挂部件的类型，进而可在列车行驶到特定路段时，使列车针对接触网悬挂部件的类型自行做出调整，降低故障概率。且可在列车行驶过程中即可确定存在故障或隐患的接触网悬挂部件，提升故障检测准确性和便利性，减少人工巡检的工作量。在对增强分类网络模型的训练过程中，可增强接触线所在位置的特征，并在标注信息中不存在牵引索时，减少第三区域的像素点数量，减少干扰，在标注信息中存在牵引索时，将第三区域的像素点集中于牵引索所在位置，增强牵引索的特征，进一步提升存在牵引索和不存在牵引索两种情况的对比度，有利于提升分类准确性。