基于相对位置感知的高铁接触网防鸟刺识别方法及系统

1.本发明涉及计算机视觉技术领域，具体涉及一种基于相对位置感知的高铁接触网防鸟刺识别方法及系统。


背景技术：

2.接触网是高速列车获取电能的唯一途径，由于露天架设，极易受到各类异物侵扰。其中，鸟害侵扰占比最高，已成为威胁高速铁路系统安全运营的主要因素之一。防鸟刺常被安装在接触网系统的支持装置上，用于防治鸟类筑巢，可有效降低供电设备的故障率。然而，受恶劣天气影响，防鸟刺时常发生脱落，进而失去防鸟作用。目前，各铁路局主要采取人工核验巡检图像的方式检查防鸟刺是否完好，但该方法存在效率低、人工成本较高等不足。
3.从巡检图像中识别防鸟刺是一个典型的计算机视觉问题；更具体来说，是一个目标检测问题，即根据输入图像判别其中是否存在待检测目标；若存在，进一步用边界框(bounding box)标识出目标所在位置。由于铁路巡检车的拍摄视角很大，所获取巡检图像中防鸟刺部件的像素占比非常小(典型的小目标检测问题)，加之防鸟刺是一种放射状物体，视觉辨识度较低，因此防鸟刺部件检测任务较之常规目标检测任务(如人脸检测、行人检测、车辆检测等)更具挑战性。目前业界主流的目标检测方法大都基于深度学习；根据建议框生成机制不同，现有深度学习目标检测方法可粗略分为两类：两阶段方法和一阶段方法。两阶段代表性方法包括r-cnn、faster r-cnn和cascade r-cnn等。一阶段代表性方法包括yolov3、ssd和retinanet等。
4.由于应用场景的特殊性，直接将上述现有目标检测技术应用于防鸟刺识别难以达到铁路巡检要求，存在计算代价大、检测精度低等问题。


技术实现要素：

5.本发明的目的在于提供一种基于相对位置感知的高铁接触网防鸟刺识别方法及系统，以解决上述背景技术中存在的至少一项技术问题。
6.为了实现上述目的，本发明采取了如下技术方案：
7.一方面，本发明提供一种基于相对位置感知的高铁接触网防鸟刺识别方法，包括：
8.获取高铁接触网巡检图像；
9.利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
10.优选的，训练所述目标检测模型包括：采集高铁接触网巡检图像，得到原始数据集；对原始数据集中的高铁接触网巡检图像进行手工标注，得到标记样本集；设定模型的网络结构；设定模型的输出锚框样式；设定模型的损失函数；基于上述设定，利用标记样本集，根据模型输出与真实标记，运用随机梯度下降算法优化模型的损失函数，得到最优的模型参数。
11.优选的，训练所述目标检测模型设定的网络结构包括：
12.骨干网络，用于获取输入图像的多层次特征金字塔，其中浅层金字塔对应图像的初级视觉特征，顶层金字塔对应高级语义特征；
13.颈部网络，通过跨层次特征交叉，提升金字塔表征能力，使得每层金字塔兼具初级视觉特征和高级语义信息；
14.头部网络，根据提升后的特征金字塔，预测图像中防鸟刺部件及其边界框。
15.优选的，对原始数据集中的高铁接触网巡检图像进行手工标注，包括：对巡检图像中的腕臂支撑装置和防鸟刺两类目标进行手工标注，保存为独立的标注文件，与巡检图像一起构成标记样本集；其中，标注文件记录了目标类别及其边界框的宽高和中心点坐标。
16.优选的，所述目标检测模型所使用的损失函数为：
[0017][0018]
其中，表示支撑装置与防鸟刺双目标的分类损失，表示双目标边界框的回归损失，表示支撑装置预测边界框与防鸟刺预测边界框之间的相对位置损失，α、β、γ为超参数，用于调节损失函数中各项比重；
[0019]
分类损失定义为目标真实类标签与模型预测的类标签之间的交叉熵损失；回归损失定义为目标真实边界框偏移量与模型预测边界框偏移量之间的平方损失；
[0020]
相对位置损失定义为：
[0021][0022]
其中，a是由支撑装置预测框内所有像素组成的集合，b是由防鸟刺预测框内所有像素组成的集合，|
·
|表示集合中元素个数；当b包含于a时，相对位置损失为零；当a中元素数目多于b中元素数目、且二者不存在包含关系时，相对位置损失定义为二者并集元素数目与a元素数目之差；当a包含于b时，相对位置损失定义为二者元素数目之差的常数倍。
[0023]
优选的，所述目标检测模型的在线预测过程，包括：通过第一阈值剔除预测置信度较低的预测框；同时，当两个预测框的交并比超出第二阈值时，采用非最大值抑制策略删选二者中预测置信度较低的框；其中，
[0024]
预测置信度定义为：
[0025]
o＝iou1×
iou2[0026]
其中，iou1为防鸟刺真实框与防鸟预测框的交并比，iou2为支撑装置预测框与防鸟刺预测框的交并比，分别定义如下；
[0027]
[0028][0029]
其中，c表示防鸟刺真实框内所有像素组成的集合，d表示支撑装置预测框与防鸟刺预测框的最小外接矩形内所有像素组成的集合。
[0030]
第二方面，本发明提供一种基于相对位置感知的高铁接触网防鸟刺识别系统，包括：
[0031]
获取模块，用于获取高铁接触网巡检图像；
[0032]
检测模块，用于利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
[0033]
第三方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现如上所述的基于相对位置感知的高铁接触网防鸟刺识别方法。
[0034]
第四方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现如上所述的基于相对位置感知的高铁接触网防鸟刺识别方法。
[0035]
第五方面，本发明提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现如上所述的基于相对位置感知的高铁接触网防鸟刺识别方法的指令。
[0036]
术语解释：
[0037]
高速铁路接触网是沿铁路线上空架设的输电线路，是电力机车的动力来源，其工作状态直接影响着高速铁路的运输能力。
[0038]
支持装置是接触网系统中用以承受定位装置和接触悬挂的全部机械负荷并传递给支柱和基础的设备。
[0039]
防鸟刺由24根钢丝组成，呈散开状，用来防止鸟类筑巢，通常安装在输变电线路设备的支持装置上。
[0040]
小目标是指待识别目标的面积在整张图片中占比不超过0.12％，例如本发明提到的防鸟刺部件。
[0041]
本发明有益效果：聚焦于高速铁路接触网巡检场景，充分利用行业背景知识(防鸟刺多安装于腕臂支撑装置之上)，通过对支持装置(大目标)与防鸟刺部件(小目标)间相对位置关系进行细粒度刻画与表示建模，提升了模型对防鸟刺小目标的识别精度，检测灵敏
度高，计算复杂度低，可辅助人工巡检，提升了巡检人员工作效率。
[0042]
本发明附加方面的优点，将在下述的描述部分中更加明显的给出，或通过本发明的实践了解到。
附图说明
[0043]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0044]
图1为本发明实施例所述的基于相对位置感知的高铁接触网防鸟刺识别方法设计流程示意图。
[0045]
图2为本发明实施例所述的目标检测模型的网络结构示意图。
[0046]
图3为本发明实施例所述的目标检测结果对比图。
具体实施方式
[0047]
下面详细叙述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0048]
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。
[0049]
还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0050]
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件和/或它们的组。
[0051]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0052]
为便于理解本发明，下面结合附图以具体实施例对本发明作进一步解释说明，且具体实施例并不构成对本发明实施例的限定。
[0053]
本领域技术人员应该理解，附图只是实施例的示意图，附图中的部件并不一定是实施本发明所必须的。
[0054]
实施例1
[0055]
本实施例1中提供一种基于相对位置感知的高铁接触网防鸟刺识别系统，包括：
[0056]
获取模块，用于获取高铁接触网巡检图像；
[0057]
检测模块，用于利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
[0058]
本实施例1中，利用上述的系统，实现了一种基于相对位置感知的高铁接触网防鸟刺识别方法，包括：
[0059]
利用获取模块获取高铁接触网巡检图像；如，可通过巡检车载相机采集高铁接触网巡检图像。
[0060]
然后，利用监测模块中预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
[0061]
其中，训练所述目标检测模型包括：采集高铁接触网巡检图像，得到原始数据集；对原始数据集中的高铁接触网巡检图像进行手工标注，得到标记样本集；设定模型的网络结构；设定模型的输出锚框样式；设定模型的损失函数；基于上述设定，利用标记样本集，根据模型输出与真实标记，运用随机梯度下降算法优化模型的损失函数，得到最优的模型参数。
[0062]
其中，训练所述目标检测模型设定的网络结构包括：
[0063]
骨干网络，用于获取输入图像的多层次特征金字塔，其中浅层金字塔对应图像的初级视觉特征，顶层金字塔对应高级语义特征；
[0064]
颈部网络，通过跨层次特征交叉，提升金字塔表征能力，使得每层金字塔兼具初级视觉特征和高级语义信息；
[0065]
头部网络，根据提升后的特征金字塔，预测图像中防鸟刺部件及其边界框。
[0066]
对原始数据集中的高铁接触网巡检图像进行手工标注，包括：对巡检图像中的腕臂支撑装置和防鸟刺两类目标进行手工标注，保存为独立的标注文件，与巡检图像一起构成标记样本集；其中，标注文件记录了目标类别及其边界框的宽高和中心点坐标。
[0067]
所述损失函数为：
[0068][0069]
其中，表示支撑装置与防鸟刺双目标的分类损失，表示双目标边界框的回归损失，表示支撑装置预测边界框与防鸟刺预测边界框之间的相对位置损失，α、β、γ为超参数，用于调节损失函数中各项比重；
[0070]
分类损失定义为目标真实类标签与模型预测的类标签之间的交叉熵损失；回归损失定义为目标真实边界框偏移量与模型预测边界框偏移量之间的平方损失；
[0071]
相对位置损失定义为：
[0072][0073]
其中，a是由支撑装置预测框内所有像素组成的集合，b是由防鸟刺预测框内所有像素组成的集合，|
·
|表示集合中元素个数；当b包含于a时，相对位置损失为零；当a中元素数目多于b中元素数目、且二者不存在包含关系时，相对位置损失定义为二者并集元素数目与a元素数目之差；当a包含于b时，相对位置损失定义为二者元素数目之差的常数倍。
[0074]
所述目标检测模型的在线预测过程，包括：通过第一阈值剔除预测置信度较低的预测框；同时，当两个预测框的交并比超出第二阈值时，采用非最大值抑制策略删选二者中预测置信度较低的框；其中，
[0075]
预测置信度定义为：
[0076]
o＝iou1×
iou2[0077]
其中，iou1为防鸟刺真实框与防鸟预测框的交并比，iou2为支撑装置预测框与防鸟刺预测框的交并比，分别定义如下；
[0078][0079][0080]
其中，c表示防鸟刺真实框内所有像素组成的集合，d表示支撑装置预测框与防鸟刺预测框的最小外接矩形内所有像素组成的集合。
[0081]
实施例2
[0082]
本实施例2中，提供一种基于相对位置感知的高速铁路接触网防鸟刺识别方法，该方法包括如下步骤：
[0083]
通过巡检车载相机采集高速铁路接触网巡检图像，得到原始数据集；
[0084]
对巡检图像进行手工标注，得到标记样本集；
[0085]
利用标记样本线下训练模型，得到相对位置感知目标检测模型rpod；
[0086]
利用训练好的rpod模型对无标记巡检图片进行线上预测，输出防鸟刺识别结果。
[0087]
其中，所述接触网巡检图像获取过程，包括：在巡检车驾驶室操作台与挡风玻璃之间安装高速摄像机，用于拍摄列车运行环境；在视频中叠加线路名、速度、里程和时间等上下文信息；对巡检视频采样，获得高速铁路接触网巡检图像数据集。
[0088]
具体的，所述巡检图像标注过程，包括：对巡检图像中的腕臂支撑装置和防鸟刺两类目标进行手工标注，保存为独立的标注文件，与巡检图像一起构成标记样本集；其中，标注文件记录了目标类别及其边界框的宽高和中心点坐标。
[0089]
所述rpod模型的训练过程，包括：设定rpod模型的网络结构；设定rpod模型的输出锚框样式；设定rpod模型的损失函数；基于上述设定，根据模型输出与真实标记，运用随机梯度下降算法优化rpod模型的损失函数，得到最优的模型参数。
[0090]
所述rpod模型的网络结构，包括：骨干网络，用于获取输入图像的多层次特征金字塔，其中浅层金字塔对应图像的初级视觉特征，顶层金字塔对应高级语义特征；颈部网络，通过跨层次特征交叉，提升金字塔表征能力，使得每层金字塔兼具初级视觉特征和高级语义信息；头部网络，根据提升后的特征金字塔，预测图像中防鸟刺部件及其边界框。
[0091]
所述rpod模型的输出锚框样式，包括：将权利要求3所述的手工标注边界框表示为由宽和高组成的2维特征向量，然后对其进行聚类分析得到k个簇，最后对簇中心向量进行截断取整得到k种样式的锚框。
[0092]
所述rpod模型的损失函数定义为：
[0093][0094]
其中表示支撑装置与防鸟刺双目标的分类损失，表示双目标边界框的回归损失，表示支撑装置预测边界框与防鸟刺预测边界框之间的相对位置损失，α、β、γ为超参数，用于调节损失函数中各项比重；
[0095]
分类损失定义为目标真实类标签与模型预测的类标签之间的交叉熵损失；回归损失定义为目标真实边界框偏移量与模型预测边界框偏移量之间的平方损失；
[0096]
相对位置损失定义为：
[0097][0098]
其中a是由支撑装置预测框内所有像素组成的集合，b是由防鸟刺预测框内所有像素组成的集合，
·
表示集合中元素个数；当b包含于a时，相对位置损失为零；当a中元素数目多于b中元素数目、且二者不存在包含关系时，相对位置损失定义为二者并集元素数目与a元素数目之差；当a包含于b时，相对位置损失定义为二者元素数目之差的常数倍。
[0099]
所述rpod模型的在线预测过程，包括：通过第一阈值剔除预测置信度较低的预测框；同时，当两个预测框的交并比超出第二阈值时，采用非最大值抑制策略删选二者中预测置信度较低的框。
[0100]
所述rpod模型的预测置信度定义为：
[0101]
o＝iou1×
iou2[0102]
其中，iou1为防鸟刺真实框与防鸟预测框的交并比，iou2为支撑装置预测框与防鸟刺预测框的交并比，分别定义如下；
[0103]
[0104][0105]
其中，c表示防鸟刺真实框内所有像素组成的集合，d表示支撑装置预测框与防鸟刺预测框的最小外接矩形内所有像素组成的集合。
[0106]
实施例3
[0107]
本实施例3中，提供基于相对位置感知的高铁接触网防鸟装置识别方法，其工作流程如图1所示。首先获取高速铁路接触网巡检图像(步骤s1)；然后对高速铁路接触网巡检图像中的腕臂支撑装置和防鸟刺部件标注，构建数据集(步骤s2)；使用标注数据线下训练rpod模型(步骤s3)；最后，根据训练好的rpod模型预测防鸟刺部件在图中的位置，输出模型预测结果。
[0108]
本实施例3中，所提出模型的网络结构如图2所示，该结构包括骨干网络、颈部网络、头部网络三个部分。骨干网络采用cspdarknet53，用于获取多层次特征金字塔；颈部网络采用fpn和pan，用于提升特征金字塔的表征能力；头部网络采用“双预测头设计”同时预测支撑装置和防鸟刺部件(模型最终仅需输出防鸟刺部件的预测信息)。
[0109]
为了验证本实施例3所提出模型的有效性，图3给出了所提出模型与当前主流目标检测模型的实验对比结果。对比方法包括一阶段模型yolov3、yolov5，两阶段模型faster r-cnn、cascade r-cnn。实验所用数据集拍摄于某高速铁路的许某市到郑某市、郑某市到安某市上行路线及其对应的下行路线，一共4条线路数据，60060张图片，分辨率是2448*2048。最终标注支持装置3536个，防鸟刺数量1101个。模型的超参数设置如下：聚类簇数为9(即模型的输出锚框样式共有9种)、批量大小16、冲量大小0.843、学习率0.032到0.12、权重衰减0.00036和最大轮次300、分类损失权重0.36、回归损失权重0.04、双生损失函数权重0.6。
[0110]
实验结果表明，本实施例所提出的rpod模型性能明显优于其他同类模型。与结果最接近的cascade r-cnn模型相比，本实施例所提出的rpod模型在防鸟刺数据集中达到了43.22的ap值，实现了2.2％的提升。可见本实施对于防鸟刺检测达到了更好的效果，具有实际应用价值。
[0111]
实施例4
[0112]
本发明实施例4提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质用于存储计算机指令，所述计算机指令被处理器执行时，实现基于相对位置感知的高铁接触网防鸟刺识别方法，该方法包括：
[0113]
获取高铁接触网巡检图像；
[0114]
利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
[0115]
实施例5
[0116]
本发明实施例5提供一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行时，用于实现基于相对位置感知的高铁接触网防鸟刺识别方法，该方法包括：
[0117]
获取高铁接触网巡检图像；
[0118]
利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
[0119]
实施例6
[0120]
本发明实施例6提供一种电子设备，包括：处理器、存储器以及计算机程序；其中，处理器与存储器连接，计算机程序被存储在存储器中，当电子设备运行时，所述处理器执行所述存储器存储的计算机程序，以使电子设备执行实现基于相对位置感知的高铁接触网防鸟刺识别方法的指令，该方法包括：
[0121]
获取高铁接触网巡检图像；
[0122]
利用预先训练好的目标检测模型，对获取的所述高铁接触网巡检图像进行处理，得到防鸟刺识别结果；其中，所述预先训练好的目标检测模型由训练集训练得到，所述训练集包括多张高铁接触网巡检图像以及标注所述高铁接触网巡检图像中防鸟刺的标签。
[0123]
综上所述，本发明实施例所述的面向高速铁路接触网安全巡检的专属型防鸟刺识别方法，合理利用了场景先验知识，基于腕臂支撑装置和防鸟刺之间的相对位置关系，将防鸟刺的检测范围从整张巡检图像缩小到腕臂支撑装置周边区域，大幅提升了检测模型的预测精准度。在实施例中，防鸟刺检测模型rpod的网络结构及其目标函数，其使用到的主干网络和损失函数分别是cspdarknet和symbioticloss，熟悉本领域技术的人员显然可以容易地针对上述实施例做出各种修改。例如，将主干网络替换为resnet-101或vgg19等，或将损失函数替换成ciouloss、giouloss等。
[0124]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0125]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0126]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0127]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0128]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明公开的技术方案的基础上，本领域技术人员在不需要付出创造性劳动即可做出的各种修改或变形，都应涵盖在本发明的保护范围之内。