轨道车运行探测预警系统的制作方法

[0001]
本发明涉及轨道车运行探测预警系统，属于行车安全技术领域。


背景技术：

[0002]
随着铁路建设的快速发展,列车运行速度的不断提高,对列车的行车安全要求越来越高。现有的列控及atp系统采用信号闭塞、接近应答等手段来保证行车安全，但列控系统只能监测作为合作目标的行进列车，而对于具有突发性及不可预测性的非合作目标侵限事件的发生不能提前预警。另外，铁路施工作业用工务机械车在施工作业条件下时，其地面信号系统通常情况下处于关闭或者失效状态，因此，不能对作业用工务机械车起到安全监控的作用。
[0003]
目前对列车车辆运行的安全瞭望由人工进行，并通过地面信号系统进行行车控制。人工瞭望存在有效距离不足，受作业人员精力集中度影响的问题，一旦作业人员精力不集中，将对瞭望产生中断。而在地面控制系统发生故障或按照施工检修计划关闭时，或车载设备存在故障无法接受控制信号时，将会造成严重的行车安全隐患。
[0004]
通过“6.01”石家庄电力机车调车挤坏道岔事故、“7.23”哈尔滨铁路局工务机械车作业区间相撞人身伤亡事故、“4.28”胶济铁路特别重大交通事故、“10
·
23”广东和谐号列车撞人事故以及“7.23”甬温线动车组追尾人身伤亡事故等的发生充分说明，仅仅依靠人工瞭望与地面信号控制系统来保证行车安全，是远远不够的。
[0005]
列车在行车工作中可能发生的问题包括：驾驶员劳动强度过大导致精力不集中、驾驶员脱岗、司乘人员突发疾病、瞭望条件不好以及人工目视观测距离不足等；由地质灾害造成的线路落石，塌陷等情况；另外还存在地面信号/通信系统故障无法对司机进行提示提醒的状况，这都极易造成行车事故。
[0006]
简而言之，在目前铁路行车发展越来越快的情况下，机车车辆自身还没有配套的自主主动探测系统。因此，不能对运行方向上的疑似障碍，例如人员、汽车/火车车辆、牲畜、落石、土堆、倒树等目标以及垮塌等情况进行自主探测并作出判断。在整个行车作业的全程需要通过人工肉眼进行瞭望。
[0007]
因此，需要一套独立于地面信息系统的主动探测系统，来实现列车行进方向的自主瞭望，并具备主动长距离侦测预警能力，从而保证行车安全。


技术实现要素：

[0008]
针对现有轨道车运行采用人工瞭望的方式进行预警，可靠性差的问题，本发明提供一种轨道车运行探测预警系统。
[0009]
本发明的一种轨道车运行探测预警系统，包括，
[0010]
图像采集模块，用于通过变焦摄像机采集车辆行车前方300米内的障碍物图像；
[0011]
车载主机识别模块，用于根据障碍物图像进行目标物识别，得到识别结果；所述识别结果包括无障碍和障碍物识别名称；当识别结果为障碍物识别名称时，计算获得障碍物
的空间位置信息；
[0012]
状态更新模块，用于根据障碍物的空间位置信息和车辆本身当前状态信息进行计算，获得对变焦摄像机的方位调整控制信号；
[0013]
报警模块，用于根据障碍物的空间位置信息以及车辆本身当前状态信息，判断障碍物是否在车辆行车方向的防护界限内产生安全威胁，若是，发送报警信号。
[0014]
根据本发明的轨道车运行探测预警系统，所述变焦摄像机设置在车辆车头顶端的光学舱内；所述变焦摄像机通过云台进行方位调整，所述云台通过舵机驱动，所述舵机通过变焦摄像机的方位调整控制信号进行控制。
[0015]
根据本发明的轨道车运行探测预警系统，所述变焦摄像机可实现可见光与不可见光障碍物图像采集。
[0016]
根据本发明的轨道车运行探测预警系统，其特征在于所述变焦摄像机通过设置在车辆车头顶端的大功率红外灯进行光学补偿。
[0017]
根据本发明的轨道车运行探测预警系统，所述车载主机识别模块通过基于darknet的深度神经网络进行目标物识别；所述计算获得障碍物的空间位置信息包括：障碍物与所述车辆的相对速度、距离以及方位角度；
[0018]
所述识别结果还包括，对识别的障碍物图像通过显示屏显示。
[0019]
根据本发明的轨道车运行探测预警系统，所述车载主机识别模块进行目标物识别的过程包括：
[0020]
车载主机将障碍物图像通过硬件编码器解算为30帧/s的图像数据流，根据基于darknet的深度神经网络的数据处理速度，对图像数据流进行抽帧处理获得抽取的画面帧图像；将抽取的画面帧图像送入基于darknet的深度神经网络进行障碍物识别与比对，在抽取的画面帧图像上识别并标注出需要防护的对象；车载主机再根据抽取的画面帧图像像素信息以及变焦摄像机的当前位置以及角度信息，通过仿射变换算法，拟合获得障碍物图像的空间环境景深，将已标注的需要防护的对象放入空间环境景深中，获得障碍物相对于车辆的空间位置信息。
[0021]
根据本发明的轨道车运行探测预警系统，所述报警模块根据障碍物相对于的车辆的空间位置信息计算获得障碍物与车辆的相对位置与相对速度，再结合轨道识别，判断障碍物对车辆的运行是否产生安全威胁。
[0022]
根据本发明的轨道车运行探测预警系统，所述光学舱内还设置gps模块，用于实时解算车辆经纬度、速度、海拔数据及时间信息。
[0023]
根据本发明的轨道车运行探测预警系统，所述变焦摄像机采用t10x-pro云台一体相机，所述一体相机采用海康威视的5倍光学变焦机芯及20倍光学变焦机芯。
[0024]
根据本发明的轨道车运行探测预警系统，所述报警信号包括以下两种形式：
[0025]
1)障碍物侵入车辆行车方向的防护界限内，但与车辆的距离超过车辆制动控制安全距离，报警信号为语音危险提示，直到障碍物处于防护界限以外；
[0026]
2)障碍物侵入车辆行车方向的防护界限内，但与车辆的距离处于车辆制动控制安全距离内，报警信号为碰撞警告提示，直到障碍物处于防护界限以外或驾驶员手动解除报警信号。
[0027]
本发明的有益效果：本发明系统具备长距离大范围侦测能力，能够对列车运行前
方的疑似障碍物进行观测追踪，结合被跟踪目标的相对距离，相对速度，方位角度，自身列车速度进行计算，可对驾驶员进行提示提醒，采取车辆制动操作。
[0028]
本发明系统在视觉瞭望不佳情况下仍旧能够对前方目标进行扫描追踪，对驾驶人员的操作行为进行辅助。还可以具备车辆摘挂辅助功能，通过图像采集及处理并进行识别给司机实时提供摘挂车辆相对距离与速度，以便于司机控车。
[0029]
本发明采用自动障碍识别的方式代替现有人工瞭望判断障碍物模式，识别结果更加可靠，并且节省了人工成本，效率高。
附图说明
[0030]
图1是本发明所述轨道车运行探测预警系统的流程图。
具体实施方式
[0031]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0032]
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0033]
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0034]
具体实施方式一、结合图1所示，本发明提供了一种轨道车运行探测预警系统，包括，图像采集模块，用于通过变焦摄像机采集车辆行车前方300米内的障碍物图像；
[0035]
车载主机识别模块，用于根据障碍物图像进行目标物识别，得到识别结果；所述识别结果包括无障碍和障碍物识别名称；当识别结果为障碍物识别名称时，计算获得障碍物的空间位置信息；
[0036]
状态更新模块，用于根据障碍物的空间位置信息和车辆本身当前状态信息进行计算，获得对变焦摄像机的方位调整控制信号；
[0037]
报警模块，用于根据障碍物的空间位置信息以及车辆本身当前状态信息，判断障碍物是否在车辆行车方向的防护界限内产生安全威胁，若是，发送报警信号。
[0038]
本实施方式中选择探测距离300m，可对应自轮运转特种设备调车作业、施工作业使用。根据调研结果，对于工务、供电以及自轮运转特种设备(工务机械车、轨道车、接触网检测车等)按照行规规定作业，调车速度均不超过40km/h，考虑到硬件成本，探测距离300米较为适合。
[0039]
本实施方式的应用场景包括：
[0040]
1)正常区间运行：包含正线运行、车站正线/侧线通过、桥梁隧道通过、曲线及小半径曲线行车。
[0041]
2)正常站内调车：包括推进/牵引调车、道岔/岔群行车、车辆连结/分解作业。
[0042]
3)区间/站封锁作业：包括无地面信号下的行/调车作业及施工作业。
[0043]
4)危险环境下行车：包括为救援列车/救援机械进入救援作业环境提供预警支持。
[0044]
本实施方式中所述系统具备长距离大范围侦测能力，能够对列车运行前方的疑似
障碍物进行观测追踪，结合被跟踪目标的相对距离，相对速度，方位角度，自身列车速度进行计算，可对驾驶员进行提示提醒，采取车辆制动操作。
[0045]
所述车载主机识别模块为经过预训练的模块，其训练目标物包括已学习的可识别目标物：例如机车车辆、人、汽车、树木、线杆、站台及其他建筑等等。所述车载主机识别模块还可以进行新目标的识别，即尚未记录的目标，通过识别增加至专用数据集。
[0046]
所述系统的图像采集模块的设置形式，要保证在视觉瞭望不佳情况下仍旧能够对前方目标进行扫描追踪，对驾驶人员的操作行为进行辅助。
[0047]
所述系统还可以具备车辆摘挂辅助功能，通过图像采集及处理并进行识别给司机实时提供摘挂车辆相对距离与速度，以便于司机控车；同时通过显示连结部分的图像，可供驾驶员判断车钩连结、风管路及电气线路连结情况，从而可辅助驾驶人员进行操作。确保连接作业人员人身安全，车钩、风管路以及电气线路连接正常安全。
[0048]
本实施方式还可以包括日志记录的设备储存，包含车速、压力、经纬度、海拔、人员操作记录，以及警告信息和录像记录等，同时可将记录转储进行分析。
[0049]
所述探测预警系统工作时，车载主机通过读取变焦摄像机的障碍物图像数据来实现环境的感知，将读取到的画面传递给车载主机识别模块，通过调用深度神经网络，实现目标的自主识别，并根据识别结果调用状态更新模块，计算出相应的控制信息，用于调整云台舵机、相机焦距等，实现对目标进一步的检测与跟踪。
[0050]
进一步，所述变焦摄像机设置在车辆车头顶端的光学舱内；所述变焦摄像机通过云台进行方位调整，所述云台通过舵机驱动，所述舵机通过变焦摄像机的方位调整控制信号进行控制。
[0051]
再进一步，所述变焦摄像机可实现可见光与不可见光障碍物图像采集。
[0052]
再进一步，所述变焦摄像机通过设置在车辆车头顶端的大功率红外灯进行光学补偿。在夜间行车时，通过大功率红外灯对变焦摄像机进行光学补偿，可提高摄像机拍摄的画面质量。
[0053]
再进一步，所述车载主机识别模块通过基于darknet的深度神经网络进行目标物识别；所述计算获得障碍物的空间位置信息包括：障碍物与所述车辆的相对速度、距离以及方位角度；
[0054]
所述识别结果还包括，对识别的障碍物图像通过显示屏显示。
[0055]
所述车载主机识别模块对变焦摄像机提供的图像数据进行处理，通过基于darknet的深度神经网络，判断障碍物图像中是否存在或存在目标物的类型(已知或未知)及所处位置(相对速度、距离、方位角度)。再通过对图像疑似目标进行比对识别，将数据进行整合处理后形成包含识别结果信息的叠加图像，通过显示屏进行显示。同时，报警模块可根据当前车辆状态信息及目标识别结果信息，判断在自身运行方向防护界限内是否存在威胁目标，以避免列车在运行时发生危险。
[0056]
再进一步，所述车载主机识别模块进行目标物识别的过程包括：
[0057]
车载主机将障碍物图像通过硬件编码器解算为30帧/s的图像数据流，根据基于darknet的深度神经网络的数据处理速度，对图像数据流进行抽帧处理获得抽取的画面帧图像；将抽取的画面帧图像送入基于darknet的深度神经网络进行障碍物识别与比对，在抽取的画面帧图像上识别并标注出需要防护的对象；车载主机再根据抽取的画面帧图像像素
信息以及变焦摄像机的当前位置以及角度信息，通过仿射变换算法，拟合获得障碍物图像的空间环境景深，将已标注的需要防护的对象放入空间环境景深中，获得障碍物相对于车辆的空间位置信息。
[0058]
车载主机识别模块通过每次相同时间抽取关键帧的方式取得已锁定目标的连续空间位置，从而计算出目标物与车辆的相对位置与相对速度，结合轨道识别，最终判断出被测目标物是否对正在运行的车辆存在碰撞威胁，根据相对速度发出预警或警告。
[0059]
所述需要防护的对象包括人、车辆、机具等目标。
[0060]
再进一步，所述报警模块根据障碍物相对于的车辆的空间位置信息计算获得障碍物与车辆的相对位置与相对速度，再结合轨道识别，判断障碍物对车辆的运行是否产生安全威胁。
[0061]
本实施方式的具体应用实例包括：
[0062]
首先进行设备自检；然后进行驾驶员信息的记录；再选择工作模式。
[0063]
所述工作模式包括昼间模式、夜间模式及连挂模式，具体说明如下：
[0064]
昼间模式包括：以可见光模式优先采集障碍物图像，通过对探测距离内目标物的识别追踪，确保车辆运行方向300米的空间环境探测；报警模块优先根据可见光信息进行判断输出；
[0065]
夜间模式包括：以非可见光模式优先采集障碍物图像，通过红外主动探测技术对探测距离内目标物进行照射追踪，确保车辆运行方向300米的空间环境探测；报警模块优先根据不可见光信息进行判断输出；
[0066]
连挂模式包括：将系统的所有模块功能用于车辆连挂，包括将主机画面切换至车辆接连处，直至连挂作业结束。
[0067]
当任一工作模式的数据处理结果提示发现疑似威胁目标时，报警模块的提示信息包括两种形式：
[0068]
一)提示信息：探测范围内有目标侵入车辆运行方向安全界限，但与威胁目标的距离超过车辆制动控制安全距离时，对司乘人员可进行语音提示并对目标物持续进行跟踪直至障碍物退出安全界限范围；
[0069]
二)告警及控制动作：
[0070]
探测范围内有目标侵入车辆运行方向安全界限，但与威胁目标的距离小于或者等于车辆制动控制安全距离时，对司乘人员发出碰撞告警动作，直到目标脱离车辆制动控制范围或驾驶员手动解除目标碰撞威胁告警。然后对于过程中的信息进行记录。
[0071]
直至结束。
[0072]
再进一步，所述光学舱内还设置gps模块，用于实时解算车辆经纬度、速度、海拔数据及时间信息。
[0073]
再进一步，所述报警信号包括以下两种形式：
[0074]
1)障碍物侵入车辆行车方向的防护界限内，但与车辆的距离超过车辆制动控制安全距离，报警信号为语音危险提示，直到障碍物处于防护界限以外；
[0075]
2)障碍物侵入车辆行车方向的防护界限内，但与车辆的距离处于车辆制动控制安全距离内，报警信号为碰撞警告提示，直到障碍物处于防护界限以外或驾驶员手动解除报警信号。
[0076]
下面对本发明系统进行进一步说明：
[0077]
1)探测部分：
[0078]
探测传感器部分采用可见光/不可见光探测及图像运算部分构成。可见/不可见光学探测系统相整合，兼顾日间夜间的清晰环境图像获取，保证了图像识别系统的有效性；根据识别结果计算摄像机的运行追踪角度，由主机向云台控制模块发送角度控制指令，云台控制模块根据电机系统中的磁编码轴做角度反馈，闭环控制追踪方向角度，结合高速变焦追踪相机，可以对行车线路进行长距离追踪观测；识别算法部分，通过ai智能识别算法对相机回传的图像中，运行方向上的合作/非合作目标进行跟踪识别，并根据相机安装信息解算出目标所在的空间位置，通过对连续的多张图像进行同样的识别计算，可对出现的疑似目标进行跟踪及速度信息获取。最终，通过信息融合报警模块，确定当前检测到的疑似目标是否对行车安全构成威胁，并采取相应的警报措施；同时，光学舱内建gps模块可实时解算车辆经纬度、速度、海拔数据及时间信息用以辅助行车及分析。
[0079]
2)软件部分：
[0080]
软件部分包含数据获取模块、依托于深度学习的yolo[1]目标检测模块、决策级信息融合报警模块、显控交互模块等主要模块组成。数据获取模块持续读取摄像机数据，并解算成图像序列，同时实时获取车辆前方的毫米波雷达的反馈数据，用于决策级信息融合报警模块的综合判断处理；依托于深度学习的yolo[1]目标检测模块以解算后的图像作为输入，深度神经网络由多级卷积运算、池化运算、激活函数等运算组成，将高维度的图像数据进行非线性化计算，得到感兴趣的目标的类型及位置，并将类型及位置信息传入决策级信息融合报警模块，用于对疑似目标采取相应的警告措施；显控系统可对采集的数据、识别结果、位置、警告信息等多种信息进行综合的显示，用于用户观察识别系统的识别结果，从而采取相应的反馈措施；决策级信息融合报警模块通过智能目标识别模块的识别结果、雷达系统反馈信息及被锁定目标的光学特征，再结合车辆自身状态及运行方向环境，可以准确的对疑似目标的危险等级，依据行规、技规等标准对车辆副驾驶员、驾驶员进行提示、告警。
[0081]
3)输出部分：
[0082]
对运行方向上的侵入但尚不构成威胁的目标(结合车速判断)，按照相对距离根据目标信息进行语音提示，提醒驾驶员注意；当被追踪的目标已经对车辆构成威胁时，设备发出警报声光信息，司机可通过警惕按钮解除报警信息。
[0083]
本发明所述探测预警系统与汽车无人技术相比，二者均需设备能够主动探测识别周围环境，追踪已锁定的目标并且对目标的威胁程度进行判断并采取相应动作；但是汽车无人技术需要进行全向扫描，其智能驾驶对机械控制要求很高，对探测距离、恶劣天气影响等情况并没有过高需求。而本发明系统需要对运行方向上进行超长距离探测追踪，需要提供有效应对瞭望条件不佳环境的手段，对于探测范围以及全自动驾驶方面没有过高的需求。
[0084]
本实施方式所述探测预警系统的硬件构成包括：
[0085]
该系统由主机、显示屏、光学舱、红外灯、连挂监控摄像机和解除报警按钮组成。
[0086]
主机直接与两端的光学舱、显示屏、红外灯、连挂监控摄像机相连接，用以实现对各部件的控制及实现功能。
[0087]
对核心硬件的选型包括：
[0088]
主机部分：由于在对光学图像进行目标检测及识别任务中，使用了基于深度学习的yolo[1]目标检测方法，该方法需要运行于带有nvidia gpu计算单元的主机，因此根据车载设备的实际情况可选择体积较小、功耗合适、适合恶劣应用环境的nvidia jetson tx2，其为英伟达推出的嵌入式gpu计算主机，带有256个并行计算核心，经过测试，在运行yolo目标检测算法时，单张图像处理时间小于100ms(图像尺寸为1280*720)，综合考虑到系统功耗、体积、抗振动能力及成本等方面原因，本系统主机部分使用tx2为主计算核心，rtso-9003底板，整机体积87*50*40mm。
[0089]
所述计算核心主要接口及性能指标如下：
[0090]
cpu：双核denver 2arm cpu核心+四核arm cortex-a57核心；
[0091]
gpu：nvidia pascal图形处理单元(gpu)架构(256个cuda核心)；
[0092]
内存：8gb 128bit lpddr4 59.7gb/s；
[0093]
存储：32gb emmc(可通过microsd卡扩展)；
[0094]
2个usb3.0端口(5gbps，1a最大供电电流)；
[0095]
2个can；
[0096]
1个usb2.0(w/otg)；
[0097]
2个3.3v uart；
[0098]
1个千兆以太网(10/100/1000base-t)；
[0099]
4路3.3v位可编程gpio；
[0100]
1个rtc电池接口；
[0101]
1个hdmi 2.0接口(最大6gbps，24bpp，4096x2160@60hz)；
[0102]
1个sd卡接口；
[0103]
1个i2c接口；
[0104]
1个风扇控制接口；
[0105]
1个3.3v uart远程监控口(开关机，环境温度，输入电压监测)；
[0106]
板卡尺寸:87mm
×
50mm；
[0107]
电源要求：+7v～+19v；
[0108]
功耗：最大10w；
[0109]
工作温度:-40～+85℃。
[0110]
光学部分：本发明系统中光学组件在工作过程中安装于车辆顶端，车辆运动、机身振动等因素会对相机采集图像造成模糊、失真等影响。经测试，可选用海康威视的5倍光学变焦机芯及20倍光学变焦机芯；由于安装位置不固定情况下，会存在抖动、振动等造成成像画面模糊的情况，导致变焦控制复杂，响应速度慢。在考虑到具体应用环境及使用过程中程序控制方面因素，可采用t10x-pro云台一体相机。t10x-pro云台一体相机针对无人机使用环境设计，快门时间短，因此载体运动、振动等因素对画面失真影响微乎其微。
[0111]
同时，t10x-pro云台一体相机具有较好的角度自稳功能，可滤除车身晃动、振动造成的相机指向角度变化，保证相机视角不变；还通过减震橡胶球与机身软连接，进一步排除了振动对图像造成的影响。
[0112]
其主要性能指标如下：
[0113][0114][0115]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。