一种复杂场景轨道可视化病害检测方法与流程

本发明涉及轨道巡检装置，具体涉及一种复杂场景轨道可视化病害检测方法。

背景技术：

1、轨道交通对促进我国经济发展、提升人民生活品质中发挥了重大作用。轨道病害巡检对保障轨道交通安全具有举足轻重的作用。目前，基于图像的轨道可视化巡检检测技术已被应用于高铁轨道可视化病害检测中。

2、与具有较大里程、较大转弯半径、扣件类型较为单一的高铁相比，城市轨道显得路况更加复杂，主要体现为以下几个方面：

3、1)单一线路扣件、轨枕种类多：以国内某地铁公司10km线路为例，包含了10余种扣件，6种轨枕；

4、2)道床形态复杂：相比高铁单一形态的道床，地铁的道床存在中间水沟、两侧水沟、横向水沟、有盖板水沟、无盖板水沟、线缆、减震筒、观察筒、安全门等多种部件，给道床异物、道床裂缝、轨枕掉块等病害检测；

5、3)道岔多：相比高铁，地铁站与站之间的里程短，道岔多。

6、综上，地铁轨道的复杂形态，给地铁轨道可视化巡检带来巨大挑战。

7、针对轨道可视化病害自动检测，学者们提出了大量的模式识别方法(刘奇锋，基于yolov3 算法的轨道扣件自动定位与检测、韦若禹，基于改进yolo_v3算法的轨道扣件缺陷检测)，这类方法对推动轨道可视化病害自动检测发挥了重要作用。但也存在以下不足：

8、1)深度学习方法依赖于大量训练样本，特别是进行缺陷检测的算法，需要大量的缺陷样本，才能达到满意的效果；然而，在实际应用中，我们很难获取大量病害样本；

9、2)深度学习方法，对计算平台算力要求很高，导致系统成本增加；

10、3)深度学习方法处理图像分辨率低、速度慢，难以实现多种病害、同时快速检测。

11、为此，现有轨道可视化巡检系统多采用先数据采集、再采用离线数据处理方法，进行轨道病害检测。离线数据处理存在滞后性，对于某些影响行车安全的病害，不能快速处理。

12、针对上述问题，本发明提供一种复杂场景轨道可视化病害检测方法，以较低的复杂度、较小的计算量，实现轨道病害在线检测，进而支撑轨道病害边检边报，再与载人式巡检小车结合，即可实现轨道病害边检边修，提升轨道维保工作效率。

13、本发明方法的基本原理来源于数据比对算法，通过对背景图像进行建模，通过逐像素的对比、阈值分割，可以发现场景中的变化区域，进而实现轨道病害检测。对于轨道而言，相关组件的位置(比如弹条脱出、弹条脱落)、形状变化(比如螺栓浮起)必然引起成像变化，因此，通过这种变化检测，可以快速发现轨道中的病害。

技术实现思路

1、为实现复杂轨道可视化病害快速检测，本发明提供一种复杂场景轨道可视化病害检测方法，其特征在于：采用轨道可视化巡检平台，预先采集轨道图像作为轨道基底图像；以轨枕为单位对基底图像进行切割，并按轨枕序号对切割的基底图像进行管理；对切割的基底图像进行语义标注；在检测时，采集轨道当前图像，以轨枕为单位对当前图像进行切割；在基底图像中，找到与当前切割图像具有相同里程的基底图像；对当前切割图像和与之对应的基底图像进行对齐匹配；采用数据比对方法，检出当前切割图像相对于基底图像的变化区域；根据差异程度、变化区域语义标注信息综合判定轨道病害类型。

2、所述轨道可视化巡检平台包括巡检机器人、轨检车和挂载巡检系统的电客车；所述轨道图像包括：二维灰度图像或三维深度图像或二维与三维融合图像；所述轨道图像至少覆盖两侧钢轨及扣件区域。

3、具体实现步骤如下：

4、第一步：利用轨道可视化巡检平台，对拟检测的线路，从起点到终点，预先采集轨道图像作为基底图像；

5、第二步：对采集的基底图像进行线路背景模型构建：

6、第2.1步：沿轨道延伸方向、以轨枕为单位，对采集图像进行切割；

7、第2.2步：从轨道的起点出发，找到图像中具有特定形状或图案区域，作为起点标记区域f，保存为参考模板图像t、记录该起点标记区域里程信息s；

8、第2.3步：以包含起点标记区域f的图像为第1幅背景图像b1，按顺序、以轨枕为单位对切割后图像进行编号，并存储；将存储的图像序列命名为当前线路的参考背景图像序列；

9、第2.4步：对参考背景图像序列进行语义标注，标注内容包括：钢轨组件、道床组件、扣件组件、道岔组件；标注结果存储为与参考背景图像相同大小的标记图像；其中，包含起点标记区域f的标记图像，记为第1幅标记图像l1；

10、所述钢轨组件包括：轨头、轨底、钢轨接头、鱼尾板夹板、夹板螺栓；所述道床组件包括：信号设备、线缆、连接钩、减震筒、裂缝、轨枕、道床；所述扣件组件包括：弹条、螺栓或螺帽、轨距挡板；所述道岔组件包括：滑床板、尖轨、可动心轨、辙叉心、轮毂螺栓，道岔区域扣件组件；所述道岔区域扣件组件包括：道岔区域扣件弹条、螺栓或螺帽、轨距挡板；所述标记图像中灰度值范围为0-255，一个数值表示一种组件，最多可标注256个组件；

11、第2.5步：构建图像序号到里程的映射表，并标注参考背景图的属性，包括：道岔、钢轨接头；

12、第三步：采用数据比对方法检测轨道变化区域，根据标记图像l中的信息，判定病害类型

13、第3.1步：采用轨道可视化巡检平台，从检测线路的起始点出发，对轨道进行成像采集，并经过步骤2.2设定的起点标记区域f；

14、所述起点标记区域包括安全门或信号设备或道岔或其他人为设定对象；

15、第3.2步：在采集的图像中，采用图像匹配方法，找到起点标记区域f，根据标记区域f 在第1幅背景图像b1中位置，切割出与第1幅背景图像对齐的待检测图像c1；

16、第3.3步：采用数据对比方法，找出待检测图像c1与第一幅背景图像b1的变化区域；

17、第3.4步：取出第1幅标记图像l1,根据变化区域在标记图像中位置，判定变化区域属于哪个轨道组件；根据组件信息，初步判定轨道哪个部件出现病害；再结合相关组件病害判定规则，判定该部件区域的病害类型；

18、第3.5步：取下一幅背景图像bi、标注图像li,使bi与采集图像匹配、对齐，并切割出待检测图像ci；

19、第3.6步：采用数据对比方法，找出待检测图像ci与背景图像bi的变化区域；

20、第3.7步：根据变化区域在标记图像li中位置，判定变化区域属于哪个轨道组件；根据组件信息，初步判定轨道哪个部件出现病害；再结合相关组件病害判定规则，判定该部件区域的病害类型；

21、第3.8步：循环执行第3.4-3.7步，直到完成所有图像的检测。

22、所述以轨枕为单位对图像进行切割的方法是：沿轨道横向，以钢轨两侧的扣件中心连线作为轨枕定位点，以相邻轨枕中点对图像进行切割，使扣件位于切割后图像的中间区域；所述扣件中心连线的确定方法是：以扣件图像为模板，通过图像模板匹配找到扣件区域进行切割；或采用目标检测方法，进行扣件检测，再根据扣件检测结果进行切割；在切割过程中，根据2根钢轨包含4个扣件的先验信息，采用投票方法提升扣件切图精度；所述目标检测方法，包括基于fasterrcnn、yolov3、yolov4、yolov5、yolox模型的扣件检测方法。

23、第2.4步中背景图像标注，其特征在于，采用基于深度学习的实例分割方法对轨道进行自动标注，再通过人工核对，确保标注信息准确无误。

24、第3.1步中，所述人为设定部件包括视觉号牌或rfid标签；安装位置包括：线路起点、终点，或在站点的端头或按n公里间隔安装更多的人为设定部件，用于图像误匹配修正，n 的取值范围为1-2。

25、所述钢轨组件检测方法是：基于钢轨组件标注结果，采用数据比对方法检测钢轨折断，采用数据比对方法检测鱼尾板脱落、鱼尾板螺栓脱落，采用参考均值比对方法检测钢轨剥落掉块。

26、所述扣件组件检测方法是：根据在线检测记录结果预先判定变化区域是否出现在扣件区域，如果没有出现，就跳过；如果出现，就对扣件区域进行语义分割，将扣件分割为弹条、螺栓、垫片；根据历史比对方法，判定螺栓是否浮起；根据距离度量方法，判定弹条是否退出、移位；根据尺寸比对方法，判定垫片是否缺失或破损。

27、所述道床组件检测方法是：基于数据比对方法，检测道床、水沟异物；基于边缘检测方法，检测道床裂缝。

28、对于线路上原本就存在的病害区域，在基底数据标注时，通过基于深度学习的缺陷目标检测算法进行检测标注，并经人工核对；在离线检测时，当所标注的病害区域不存在变化时，直接从标注结果中取出已有病害标注区域即可。

29、与现有技术相比，本发明的有益效果为：

30、1)引入数据比对方法，可以较低计算复杂度，实现轨道变化区域检测，再根据建模阶段标注的轨道区域信息，可快速判定病害属于什么部件，再结合相关的判定方法，即可实现轨道病害类型判定，与现有基于深度学习的轨道病害检测算法相比，计算复杂度低、计算速度快，且在没有病害负样本的情况下，即可实现轨道病害检测。

31、2)采用基于扣件的图像对齐方法，可解决长里程图像长度变化问题，确保在较短的距离内，背景图像与检测图像对齐，为数据比对方法奠定基础。经过我们的测试，实现了长度为 40km、包含了80000个扣件图像的有效匹配和轨道病害检测。

32、3)采用对背景图像进行事先标注和人工核对的建模方法，相比直接对采集图像进行轨道组件检测或识别，错误率更低，可有效保证轨道病害类型判定准确率。比如：不会将属于扣件区域的病害、判定为道床区域。