一种基于视频监控相机的弓网接触点识别方法与流程

1.本发明涉及轨道交通弓网检测与监测领域，具体涉及一种基于视频监控相机的弓网接触点识别方法。


背景技术：

2.弓网系统是电力机车牵引供电系统的重要设备，弓网接触点是弓网运行时的重要监测对象，它反应了弓网运行时的状态，尤其是接触线相对于受电弓中心偏移量的检测监测。
3.目前在弓网非接触式检测方面，国内外都开展了很多研究。
4.目前主要有以下几种检测方法：
5.1)基于图像处理的方法，安装在车顶的高清摄像头来获取弓网图像并计算相关参数，检测结构比较简单，但是精度有待提高。
6.2)在检测车顶部安装阵列摄像机和结构光，基于线结构光视觉测量技术进行车载动态测量，这种方法具有测量精度高、稳定可靠的优势，同时在检测速度要求不高的线路中得到广泛应用，但是该方法单次测量所需的图像数据量大，对图像采集及处理要求极高，在高速动态测量中具有一定的局限性。
7.3)用canny边缘检测分别获取受电弓与接触线的边缘信息，并经过霍夫直线检测计算直线交点的方式实现弓网接触点的定位并分析。
8.4)基于红外图像的接触点检测，利用两个方向增强算子，分别实现受电弓和接触网的点检测，进而采用改进ransac策略实现对接触点的定位。
9.以上这些方法在接触点检测方面，还需要进一步提高其检测的精度和实时性，以及对弓网运行环境变化的适应能力。


技术实现要素：

10.针对现有技术中的上述不足，本发明提供的种基于视频监控相机的弓网接触点识别方法解决了接触点检测精度和实时性不高，以及对弓网运行环境变化的适应能力不强的问题。
11.为了达到上述发明目的，本发明采用的技术方案为：一种基于视频监控相机的弓网接触点识别方法，包括以下步骤：
12.s1、构建匹配模板集和深度残差网络，根据受电弓图像历史数据，通过训练，得到训练好的深度残差网络；
13.s2、基于训练好的深度残差网络，对受电弓进行实时在线识别，得到弓网接触点坐标。
14.进一步地：所述构建匹配模板集，包括：
15.从所述受电弓图像历史数据中选出多张图像，从中截取受电弓子图像；
16.从子图像中提取出轮廓图像；
17.根据所述轮廓图像，构建匹配模板集。
18.进一步地：所述构建深度残差网络，包括：
19.在原始基本残差模块的基础上，设置子网络模块，通过所述子网络模块自动学习得到一组或多组阀值；
20.通过预设软阀值化激活函数处理，降低噪声；形成深度残差网络基本模块；
21.通过堆叠多个所述深度残差网络基本模块，形成深度残差网络。
22.进一步地：所述步骤s1，包括：
23.s11、根据所述受电弓图像历史数据和构建好的匹配模板集，计算得到每张受电弓图像历史数据的受电弓中心位置；
24.s12、根据所述受电弓中心位置，选取感兴趣区域，并在所述感兴趣区域中标记出弓网接触点的相对位置；
25.s13、将所有标记出的弓网接触点的相对位置，输入到构建好的深度残差网络中进行训练。
26.进一步地：所述步骤s11，包括：
27.s111、将每张受电弓图像历史数据与所述匹配模板集进行匹配，选取匹配得分最高的结果，即得分最高的匹配模板及对应该匹配模板的匹配目标；
28.s112、从所述得分最高匹配目标中，选取出分值最高的匹配目标作为当前图像的受电弓定位目标；
29.s113、根据所述受电弓定位目标，结合所述对应匹配模板，计算出受电弓中心位置。
30.进一步地：所述步骤s12，包括：
31.s121、根据所述受电弓中心位置，结合预设的上下左右偏移像素数，确定出后续处理所需要的感兴趣区域；
32.s122、在感兴趣图像中，标记出弓网接触点在感兴趣图像中的相对位置。
33.进一步地：所述子网络模块包括依次连接的1
×
1卷积层、全连接层、1
×
1卷积层、全连接层和1
×
1卷积层。
34.进一步地：所述步骤s2，包括：
35.s21、实时采集获取受电弓图像，通过所述匹配模板集识别受电弓位置；
36.s22、根据识别出的受电弓位置，选取感兴趣区域；
37.s23、将所述感兴趣区域，输入训练好的深度残差网络中，得到接触点坐标。
38.进一步地：所述步骤s21，包括：
39.s211、将实时采集的受电弓图像与所述匹配模板集进行匹配，选取匹配得分最高的结果，即得分最高的匹配模板和对应该匹配模板的匹配目标；
40.s212、从所述得分最高匹配目标中，选取出分值最高的匹配目标作为实时获取的受电弓图像的受电弓定位目标；
41.s213、根据所述受电弓定位目标，结合所述对应匹配模板，计算出受电弓中心位置。
42.进一步地：所述步骤s23，包括：
43.将所述感兴趣区域输入训练好的深度残差网络中，得到实时采集的受电弓图像中
弓网接触点的相对坐标；
44.结合感兴趣区域的宽度和高度，计算得到弓网接触点的绝对坐标。
45.本发明的有益效果为：
46.1.本发明在受电弓定位阶段，引入多模板匹配，提升了受电弓定位的稳定性与准确性；
47.2.本发明利用模板匹配并结合受电弓、先验知识确定训练roi图像，相较于利用深度学习(如yolo)确定训练roi图像大幅度提升了处理效率；
48.3.本发明在标记训练数据时，引入记录相对坐标的方式，相较于直接记录绝对坐标更能适应训练和识别时对roi的缩放处理，提升识别精度；
49.4.本发明在原始残差网络中引入软阈值化函数作为网络基本块中激活函数之一，提升了网络的抗噪性和鲁棒性；
50.5.本发明在原始残差网络中引入注意力机制，使得网络能够提取更多有用特征信息，并同时抑制冗余特征信息。
附图说明
51.图1为本发明流程图；
52.图2为本发明中改进后的网络基本模块示意图。
具体实施方式
53.下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
54.如图1所示，一种基于视频监控相机的弓网接触点识别方法，包括以下步骤：
55.s1、构建匹配模板集和深度残差网络，根据受电弓图像历史数据，通过训练，得到训练好的深度残差网络；
56.构建匹配模板集，包括：
57.从所述受电弓图像历史数据中选出多张图像，从中截取受电弓子图像；
58.从子图像中提取出轮廓图像；
59.根据所述轮廓图像，构建匹配模板集。
60.假设共创建了n个匹配模板，记为：
61.s
match
＝[matchmodel0ꢀ…ꢀ
matchmodelnꢀ…ꢀ
matchmodel
n-1
]
[0062]
上式中，s
match
为匹配模板集，matchmodeln为第n个匹配模板。
[0063]
构建深度残差网络，包括：
[0064]
在原始基本残差模块的基础上，设置子网络模块，通过所述子网络模块自动学习得到一组或多组阀值；
[0065]
通过预设软阀值化激活函数处理，降低噪声；形成深度残差网络基本模块；
[0066]
通过堆叠多个所述深度残差网络基本模块，形成深度残差网络。
[0067]
s11、根据所述受电弓图像历史数据和构建好的匹配模板集，计算得到每张受电弓
图像历史数据的受电弓中心位置；
[0068]
s111、将每张受电弓图像历史数据与所述匹配模板集进行匹配，选取匹配得分最高的结果，即得分最高的匹配模板及对应该匹配模板的匹配目标；
[0069]
s112、从所述得分最高匹配目标中，选取出分值最高的匹配目标作为当前图像的受电弓定位目标；
[0070]
s113、根据所述受电弓定位目标，结合所述对应匹配模板，计算出受电弓中心位置。
[0071]
s12、根据所述受电弓中心位置，选取感兴趣区域，并在所述感兴趣区域中标记出弓网接触点的相对位置；
[0072]
s121、根据所述受电弓中心位置，结合预设的上下左右偏移像素数，确定出后续处理所需要的感兴趣区域；
[0073]
s122、在感兴趣图像中，标记出弓网接触点在感兴趣图像中的相对位置。
[0074]
s13、将所有标记出的弓网接触点的相对位置，输入到构建好的深度残差网络中进行训练。
[0075]
本发明提出改进深度残差网络用于识别弓网接触点。
[0076]
本发明在原始残差网络中引入注意力机制与软阈值化激活函数，使得原始网络能够发现有用信息并增强该部分信息，且抑制冗余信息。
[0077]
软阈值化能够降低输入数据中的噪声，该方式可将绝对值小于某个阈值的特征去掉，将绝对值大于这个阈值的特征朝着0的方向收缩。针对本发你所涉及的任务，其可通过如下方式实现：
[0078][0079]
上述软阈值化的输出对于输入的导数为
[0080][0081]
该导数形式与relu激活函数性质相同，能够减小深度学习算法遭遇梯度弥散和梯度爆炸的风险。
[0082]
原始残差块与引入注意力机制和软阈值后的基本模块如图2所示。通过堆叠多个上述基本模块即可形成改进后的残差网络。在该网络中，每个基本模块包含一个子网络，如图2中虚线框所示，所述子网络包括依次连接的1
×
1卷积层、全连接层、1
×
1卷积层、全连接层和1
×
1卷积层。该子网络可自动学习得到一组阈值，用于特征图的软阈值化。通过该种方式，使得每一个样本都有自适应的不同阈值，因此也使得该网络结构最大程度适应样本间的差异性。
[0083]
s2、基于训练好的深度残差网络，对受电弓进行实时在线识别，得到弓网接触点坐标。
[0084]
s21、实时采集获取受电弓图像，通过所述匹配模板集识别受电弓位置；
[0085]
s211、将实时采集的受电弓图像与所述匹配模板集进行匹配，选取匹配得分最高
的结果，即得分最高的匹配模板和对应该匹配模板的匹配目标；
[0086][0087]
上式中，matchtarn为第n个模板的匹配结果中得分最高的匹配目标，score
n～i
为第n个模板对应的第i个匹配结果，matchtar
n～i
为第n个模板对应的第i个匹配目标，φ为第n个模板的所有匹配结果集合；
[0088]
s212、从所述得分最高匹配目标中，选取出分值最高的匹配目标作为实时获取的受电弓图像的受电弓定位目标；
[0089][0090]
上式中，matchtar
*
为当前图像的受电弓定位目标，scoren为matchtarn对应的匹配分值；
[0091]
s213、根据所述受电弓定位目标，结合所述对应匹配模板，计算出受电弓中心位置。
[0092]
s22、根据识别出的受电弓位置，选取感兴趣区域(roi)；
[0093]
根据受电弓中心位置，并结合受电弓、相机等的先验知识，手动设定上下左右偏移像素数，确定出后续处理所需要的roi区域。
[0094][0095]
s23、将所述感兴趣区域，输入训练好的深度残差网络中，得到接触点坐标。
[0096]
将所述感兴趣区域输入训练好的深度残差网络中，得到实时采集的受电弓图像中弓网接触点的相对坐标；
[0097]
在训练时，可能对roi图像进行缩放，为了适应训练图像大小的改变，因此本方案提出记录标记点在roi中的相对位置。
[0098]
对训练数据集中的每一幅图像进行受电弓定位，并确定roi区域后，在roi图像中，人工标记弓网接触点在roi中的相对坐标(ii,(xi/w,yi/h))；其中，ii为第i幅训练图像，xi为第i幅训练图像中弓网接触点的横坐标，yi为第i幅训练图像中弓网接触点的纵坐标，w为宽度，h为感兴趣图像的高度。
[0099]
结合感兴趣区域的宽度和高度，计算得到弓网接触点的绝对坐标。
[0100]
本发明在受电弓定位阶段，引入多模板匹配，提升了受电弓定位的稳定性与准确性；
[0101]
本发明利用模板匹配并结合受电弓、先验知识确定训练roi图像，相较于利用深度学习(如yolo)确定训练roi图像大幅度提升了处理效率；
[0102]
本发明在标记训练数据时，引入记录相对坐标的方式，相较于直接记录绝对坐标更能适应训练和识别时对roi的缩放处理，提升识别精度；
[0103]
本发明在原始残差网络中引入软阈值化函数作为网络基本块中激活函数之一，提升了网络的抗噪性和鲁棒性；
[0104]
本发明在原始残差网络中引入注意力机制，使得网络能够提取更多有用特征信息，并同时抑制冗余特征信息。