一种列车车辆及运行状态检测方法及装置与流程

1.本发明属于轨道交通安全检测监测设备技术领域，具体涉及一种列车车辆及运行状态检测方法及装置。


背景技术：

2.在轨道交通动态安全检测领域，需要对车辆以及车辆运动状态进行检测，目前常用的列车车辆检测方式大多是利用磁钢检测到车轮以判断是否来车；并通过2个或多个磁钢根据磁钢之间的距离和各磁钢之间探测到的车轮通过时间差来计算车速，但这类检测方法存在以下缺点：采用无源磁钢探测车轮时，即在车速较低时，特别是机车进入整备车间时，车速通常较低，有时在5km/h以下，这会导致输出信号不稳定，探测结果不可靠；而有源磁钢又比较容易受到电磁干扰，如电力机车、动车等列车通过时，探测信号也会出现不稳定的情况；同时，这类采用磁钢之间固定距离除以探测信号时间差测速的方法，计算的是车辆运行的平均速度，但当车辆进行变速运动时，特别是低速情况下变速运行时，例如停车、启动，测得的车速误差会比较大，那么在无法获取整车运动状态信息的情况下，当车辆在停止并出现前后往复运动，如倒调车时，所探测的磁钢信号则可能无法计算出有效的车速。
3.另一类常用测车速的方法是使用雷达测速，该类方法通常情况下测得的车速较为精准，但容易受到天气影响，如雨雪雷电等恶劣天气情况下，测速精度会下降；同时，该方法只能获取车辆运行速度，无法检测各车辆所处的位置状况，不方便按车辆进行相关处理，例如：按车辆进行图像裁剪。
4.因此，在现有技术条件下，难以实现在列车车辆检测的同时，得到准确稳定的车辆运动状态(运行方向和速度等)。


技术实现要素：

5.针对上述问题，本发明提供了一种列车车辆及运行状态检测方法及装置，其可实现在列车车辆检测的同时，得到准确稳定的车辆运动状态。
6.其技术方案是这样的，一种列车车辆及运行状态检测方法，其特征在于，包括：
7.获取列车车辆通过轨道时的视频图像；
8.对所述视频图像中的所述轨道进行检测，以建立列车车辆运动的坐标系；
9.对所述视频图像进行所述列车车辆检测，以得到所述列车车辆在建立的坐标系中的坐标位置；
10.根据所述列车车辆的坐标位置，得到所述列车车辆的运动状态。
11.进一步地，在所述轨道上方通过支架装有摄像机，所述摄像机以固定频率进行视频采集，通过所述摄像机获取的视频图像同时包含有所述轨道、通过时的所述列车车辆的一个侧面和所述列车车辆的顶部；
12.进一步地，在建立的列车车辆运动的坐标系中，以所述轨道方向作为坐标轴；在所述轨道一侧设置若干位置标示物，对所述位置标示物进行直线拟合，通过拟合的直线得到
坐标系中的坐标轴刻度；
13.进一步地，所述位置标示物为直线形状，所述位置标示物的数量至少有两个；
14.进一步地，得到所述列车车辆在建立的坐标系中的坐标位置，包括以下步骤：
15.s1、对所述视频图像进行所述列车车辆检测，得到每一节所述列车车辆的目标框；所述目标框为两个矩形方框嵌套形成，两个所述矩形方框共用一个嵌套点，其中一个矩形方框包含当前所述列车车辆的整个列车车辆范围，另一个矩形方框只包含当前所述列车车辆在所述视频图像中的侧面范围；
16.s2、对每一个所述目标框，选取只包含当前所述列车车辆侧面的矩形方框右下角顶点，沿所述轨道方向判断所述右下角顶点前后是否都存在拟合的直线，若存在，则根据所述右下角顶点位于前后两条拟合直线之间的位置，通过插值计算得到所述右下角顶点位于所述轨道上的位置，即当前所述列车车辆在所述坐标系中的坐标值；
17.s3、对视频中的每帧图像重复所述步骤s1、s2，得到每一个所述目标框在不同时刻的位置，则根据每一时刻所述列车车辆目标框的坐标值，得到所述列车车辆的运行方向、速度、加速度；
18.进一步地，在所述步骤s1中，采用基于anchor box的深度学习检测网络实现列车车辆检测，具体包括以下步骤：
19.s1.1、设定所述目标框在所述视频图像中的定义为：{(x，y)，(wb，hb)，(ws，hs)}，其中，x，y，wb，hb，ws，hs分别为描述所述目标框的位置参数，即(x，y)为两个矩形方框共用嵌套点的坐标值，wb，hb分别为两个矩形方框中大框的宽度和高度，ws，hs分别为两个矩形方框中小框的宽度和高度；
20.s1.2、设真实框(ground truth box，gt box)，并定义为其中，(g
x
，gy)为真实框中两个框共用的嵌套点坐标，分别为真实框中大框宽度和高度，分别为真实框中小框的宽度和高度；
21.设预测框(predict box，pr box)，并定义为其中，(p
x
，py)为预测框中两个框共用的嵌套点坐标，分别为预测框中大框宽度和高度，分别为预测框中小框的宽度和高度；
22.设锚框(anchor box，ac box)，并定义为其中，(a
x
，ay)为锚框中两个框共用的嵌套点坐标，为锚框中大框宽度和高度，为锚框中小框的宽度和高度；
23.s1.3、预测框与锚框、真实框与锚框之间的关系通过以下计算式确定：
[0024][0025][0026]
其中，pl为预测框的预测值；
[0027][0027][0028]
gl为真实框的预测值；
[0029]
s1.4、通过以下计算公式得到损失函数：
[0030][0031][0032]
其中，l
cls
为分类损失函数；l
reg
为目标框位置回归损失函数；
[0033]
gc∈{0，1}为真实框的类别，即是否为列车车辆的标识，当gc＝1时表示该真实框是列车车辆，当gc＝0时表示该真实框不是列车车辆；
[0034]
pc为预测框预测为列车车辆的概率值；n为列车车辆目标框的数量；α为权重系数；m为真实框的数量；θk为目标框位置参数的权重系数；smooth
l1
为平滑函数；
[0035]
s1.5、通过预测框的预测值pl根据公式(3)反推计算，得到预测的目标框在所述视频图像中的位置和大小，从而实现对所述列车车辆的检测；
[0036]
一种列车车辆及运行状态检测装置，其特征在于：其包括视频采集模块，用于采集监测现场列车车辆通过轨道时的视频图像；
[0037]
视频处理模块，用于接收所述视频采集模块采集的视频图像后进行视频处理，得到通过的列车车辆运动状态信息；
[0038]
位置标示模块，用于辅助所述视频处理模块进行视频处理，以确定所述列车车辆在轨道上的位置。
[0039]
进一步地，所述视频处理模块根据采集的视频图像和所述位置标示模块，建立列车车辆运动的坐标系，所述坐标系以轨道方向作为坐标轴；所述视频处理模块通过对所述位置标示模块进行直线拟合，通过拟合的直线得到坐标系中的坐标轴刻度；
[0040]
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述列车车辆及运行状态检测方法的步骤。
[0041]
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述列车车辆及运行状态检测方法的步骤。
[0042]
本发明的有益效果是，在获取列车车辆通过轨道时的视频图像后，通过图像检测技术可实时准确检测得到通过轨道的列车车辆以及在轨道上运行的运动状态信息，包括位置、运动方向、速度等信息，对于列车车辆的检测精度和列车车辆运动状态探测的准确性和稳定性都得到了有效提升。
附图说明
[0043]
图1是本发明的结构框图；
[0044]
图2是本发明中轨道上的装配结构示意图；
[0045]
图3是本发明中列车车辆在轨道上的结构示意图；
[0046]
图4是本发明的流程示意图。
具体实施方式
[0047]
如图1～图4所示，本发明一种列车车辆及运行状态检测方法，包括：
[0048]
获取列车车辆1通过轨道2时的视频图像；
[0049]
对视频图像中的轨道2进行检测，通过检测轨道2在视频图像上的具体位置，以便后续对位置标示物进行检测，进而建立列车车辆1运动的坐标系；在建立的列车车辆1运动的坐标系中，以轨道2方向作为坐标轴；在轨道2一侧设置若干位置标示物3，并确定各位置标示物之间的实际距离，对位置标示物3进行直线拟合，通过拟合的直线得到坐标系中的坐标轴刻度；
[0050]
对视频图像进行列车车辆1检测，以得到列车车辆1在建立的坐标系中的坐标位置；
[0051]
根据列车车辆1的坐标位置，得到列车车辆1的运动状态。
[0052]
具体地，检测方法包括以下步骤：
[0053]
s1、在轨道2上方通过支架4装有摄像机5，摄像机5以固定频率进行视频采集，摄像机5安装在轨道2限界(限界是铁路专业术语，指不能在轨道上下左右一定空间范围内安装设备或实施基建，防止影响列车运行安全)范围外，视场以拍摄列车车辆1的侧上方为主，较优地，摄像机5安装位置选取其视场内轨道2接近直线为佳，即通过摄像机5获取的视频图像同时包含有轨道2、通过时的列车车辆1的一个侧面和列车车辆1的顶部；
[0054]
s2、对视频图像中的轨道2进行检测，如有多条轨道2，可设定需要监测的那条轨道2为有效，其他无效；
[0055]
s3、对视频图像中的轨道2旁边的位置标示物3进行检测，选择若干个位置标示物3作为候选，为保证检测的准确性，所选的位置标示物3的位置尽量靠近摄像机5方向；
[0056]
其中位置标示物3为直线形状，位置标示物3的数量至少有两个；位置标示物3可采用直线反光条实施，以提高检测的准确性和稳定性，较优地，各位置标示物3按等间隔距离进行铺设，以方便计算，若轨道2枕木间隔均匀且在图像中比较清晰，也可以直接利用枕木作为位置标示物3进行处理；
[0057]
s4、在视频图像中对候选的位置标示物3进行直线拟合，并根据步骤s2中所设定的有效轨道2的位置关系，对拟合的直线进行延长，使其跨过轨道2，得到虚拟轨道距离间隔线7，如图3中所示的虚线部分，则以轨道2方向建立坐标轴，按虚拟轨道距离间隔线7设定坐标轴刻度；
[0058]
s5、对视频图像进行列车车辆1检测，得到每一节列车车辆1的目标框6；目标框6为两个矩形方框嵌套形成，两个矩形方框共用一个嵌套点，其中一个矩形方框包含当前列车车辆1的整个列车车辆1范围，另一个矩形方框只包含当前列车车辆1在视频图像中的侧面范围；
[0059]
在列车车辆1检测出来后，可采用跟踪算法在后续帧中得到车辆的目标框6，例如kcf算法、deepsort、mdnet、vot目标跟踪网络等。
[0060]
在本发明实施例的步骤s5中，为提高车辆检测精度并实现车辆定位，结合图像中列车车辆1的特定结构，步骤s5设计二重框结构的目标框6，采用基于anchor box的深度学习检测网络实现列车车辆检测，目标框和训练损失函数的定义包括以下步骤：
[0061]
s5.1、设定目标框6在视频图像中的定义为：{(x，y)，(wb，hb)，(ws，hs)}，其中，x，y，
wb，hb，ws，hs分别为描述所述目标框的位置参数，即(x，y)为两个矩形方框共用嵌套点的坐标值，wb，hb分别为两个矩形方框中大框的宽度和高度，ws，hs分别为两个矩形方框中小框的宽度和高度；
[0062]
摄像机5按上述方式安装后，在不同场景、不同天气和时间情况下采集尽可能多的列车车辆1图像作为训练图像，按照上述定义对图像中每列车辆进行目标框6的标注；
[0063]
s5.2、检测网络结构采用现有基于anchor box的经典检测网络框架，例如yolo系列网络、ssd等，本发明不同之处是目标框6回归的处理，即基于上述目标框6的定义同时对两个框进行回归处理，本发明的实施例如下：
[0064]
设真实框(ground truth box，gt box)，并定义为其中，(g
x
，gy)为真实框中两个框共用的嵌套点坐标，分别为真实框中大框宽度和高度，分别为真实框中小框的宽度和高度；
[0065]
设预测框(predict box，pr box)，并定义为其中，(p
x
，py)为预测框中两个框共用的嵌套点坐标，分别为预测框中大框宽度和高度，分别为预测框中小框的宽度和高度；
[0066]
设锚框(anchor box，ac box)，并定义为其中，(a
x
，ay)为锚框中两个框共用的嵌套点坐标，为锚框中大框宽度和高度，为锚框中小框的宽度和高度；
[0067]
s5.3、预测框与锚框、真实框与锚框之间的关系通过以下计算式确定：
[0068][0069][0070]
其中，pl为预测框的预测值；
[0071][0071][0072]
gl为真实框的预测值；gl为真实框的预测值；
[0073]
s5.4、通过以下计算公式得到损失函数：
[0074][0075][0076]
其中，l
cls
为分类损失函数，可定义为正样本和负样本两类，正样本即列车车辆，其他均未负样本，用常用的分类损失函数即可，如softmax loss函数；
[0077]
l
reg
为目标框6位置回归损失函数；
[0078]
gc∈{0，1}为真实框的类别，即是否为列车车辆1的标识，当gc＝1时表示该真实框是列车车辆1，当gc＝0时表示该真实框不是列车车辆1；
[0079]
pc为预测框预测为列车车辆1的概率值；n为列车车辆1目标框6的数量；α为权重系
数；m为真实框的数量；θk表示目标框位置参数x，y，wb，hb，ws，hs的权重系数，可根据实际效果适当调小wb，hb的权重，使网络对车辆侧面的定位精度更高，以保证车辆的定位精度；smooth
l1
为平滑函数；
[0080]
s5.5、检测网络推理计算时，由预测框的预测值pl根据公式(3)反推计算，也就是说训练好的网络会计算得到预测值pl，根据(3)中的6个子公式，可以计算得到目标框的6个位置参数x，y，wb，hb，ws，hs，即得到了预测的目标框6在视频图像中的位置和大小，从而实现对列车车辆1的检测；
[0081]
s6、对每一个目标框6，选取其车辆侧面前边沿8下方顶点，即选取只包含当前列车车辆1侧面的矩形方框右下角顶点p(就是该列车车辆前部在轨道上的位置点)，沿轨道2方向判断右下角顶点p前后是否都存在拟合的直线(虚拟轨道距离间隔线7)，若存在，则根据右下角顶点p位于前后两条拟合直线(虚拟轨道距离间隔线7)之间的位置，通过插值计算得到右下角顶点p位于轨道2上的位置，即当前列车车辆1在坐标系中的坐标值；
[0082]
该插值算法为现有线性插值算法，具体是通过视频图像中右下角顶点p与其邻近两个坐标刻度之间的比例关系，根据两个坐标刻度的实际距离，从而可计算得到右下角顶点p在坐标轴上的实际位置；
[0083]
s7、对视频中的每帧图像重复步骤s5、s6，得到每一个目标框6在不同时刻的位置，即轨道2坐标值，时间间隔为采集频率的倒数，则根据每一时刻列车车辆1目标框6的坐标值，得到列车车辆1的运动方向、速度、加速度等运动状态信息。
[0084]
在上述步骤s2～s4检测轨道2和位置标示物3以及轨道2坐标轴建立的处理，无需每一帧都进行计算，通常在摄像机5安装较为紧固的情况下，短时间内轨道2和位置标示物3在图像中的位置不会发生变化；较优地，可以按固定周期进行处理，将结果保存下来供后续车辆位置实时计算使用；若计算性能足够，可将周期缩短，甚至隔几帧处理一次，通过动态调整来提高准确性和稳定性。
[0085]
对步骤s2、s3中，轨道2和位置标示物3检测采用深度学习目标分割网络来实现，例如segnet、u-net、maskrcnn、deeperlab等经典网络。
[0086]
在步骤s7中，当检测到多个列车车辆1目标框6及右下角顶点时，若计算得到的各车辆车速为非超低速，例如车速大于5km/h，较优地，可认为整趟列车各车辆运动状态相同，其速度和加速度可按各车辆的速度和加速度平均值来计算，以提高准确性。
[0087]
一种列车车辆及运行状态检测装置，其包括视频采集模块，用于以固定频率采集监测现场列车车辆1通过轨道2时的视频图像；
[0088]
视频处理模块，用于接收视频采集模块采集的视频图像后进行视频处理，得到通过的列车车辆1运动状态信息；视频处理模块主要是用来实现列车车辆1及运行状态检测方法的相关计算，由视频采集模块输入的视频流经计算后得到通过的列车车辆1运动状态信息，在视频处理模块进行视频处理过程中，视频处理模块根据采集的视频图像和位置标示模块，建立列车车辆1运动的坐标系，坐标系以轨道2方向作为坐标轴；视频处理模块通过对位置标示模块进行直线拟合，通过拟合的直线得到坐标系中的坐标轴刻度；
[0089]
位置标示模块，用于辅助视频处理模块进行视频处理，以确定列车车辆1在轨道2上的位置；位置标示模块即上述位置标示物3。
[0090]
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计
算机程序，处理器执行程序时实现列车车辆及运行状态检测方法的步骤。
[0091]
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现列车车辆及运行状态检测方法的步骤。
[0092]
本发明采用摄像机5采集视频，在轨道2一侧设置位置标示物3，通过图像检测技术实时检测通过的车辆以及在轨道2上运行的运动状态信息，包括位置、运动方向、速度、加速度等信息，其硬件简单、成本低，安装维护便捷；且本发明采用深度学习技术，在视频图像中进行列车车辆1目标检测，通过定义目标框6设计检测网络，可有效提升列车车辆1的检测精度；另外，通过轨道2即位置标示物3的视频图像检测，可动态调整列车车辆1的位置基准，提升列车车辆1运动状态探测的准确性和稳定性，无需人工进行手动标识或标定。
[0093]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0094]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。