一种基于纹理与深度图像的轨道扣件紧固件松动检测方法与流程

本发明涉及铁路基础设施检测领域，具体指一种基于纹理与深度图像的轨道扣件紧固件松动检测方法。

背景技术：

扣件是连接钢轨和轨枕的重要部件，其作用是将钢轨固定在轨枕上，保持轨距以及阻止钢轨发生相对于轨枕的纵横向移动，因此，扣件在保证轨道稳定性、可靠性方面起着十分重要的作用。螺栓和螺帽是确保扣件固定牢靠的关键，螺栓或螺帽一旦发生浮起，必然会导致扣件发生松动，进而造成严重的安全隐患。

在铁路基础设施检测上，我国长期以人工和静态检测为主，养护费用高，强度高，安全性差，随着高速铁路迅猛发展，对铁路检测的自动化、实时性提出了更高的要求。目前，国内外已出现了一些基于图像的扣件检测缺陷检测方法，主要通过线阵相机拍摄扣件图像，通过图像处理算法，识别扣件缺陷。但是，现有的这些扣件检测系统都无法识别和检测扣件是否松动。

专利cn201580000881x，公开了一种铁路扣件螺栓松动自动显示装置，该装置通过包括上下两层垫片，当上层垫片和下层垫片之间的摩擦力小于弹簧的张力时，上层垫片和下层垫片两者在弹簧张力作用下重叠部分分开，露出反光装置或发光装置，从而使检测设备或检测人员发现。该专利虽然可以检测出铁路扣件螺栓是否松动，但其主要缺点在于：需要在铁轨施工过程中，安装这些垫片，改变现有扣件结构。并且，这种方式需要人工参与检测，无法自动判别扣件松动。

专利cn2012101926412，介绍一种基于红外热成像的铁路扣件松动高速探测系统与方法：利用内置红外摄像机直接获取扣件取扣件与钢轨的接触应力产生的红外热成像图，通过红外图像灰度值，判断扣件是否松动或缺失并进行自动预警。但是，该方法存在以下缺点：该方法通过红外热成像获取扣件在疲劳应力下产生热量的温度变化来判定扣件是否松动，仅能用于列车行驶过的轨道，对于未行驶列车的轨道，不存在疲劳应力，不会有温度变化，而无法检测；这限制了红外测温方法应用于扣件松动检测的应用范围。也就是说，这种检测方法，只能按照在列车或大型轨检车上，以对扣件产生冲击和发热。

上述专利都难以对扣件松动程度进行测量，但是不能用于扣件紧固件早期预警(早期预警，可在扣件未完全松离前，及时发现，并采取加固措施)。为此，迫切需要研究一种可对扣件松动程度准确测量、可靠检测扣件紧固件松动，既可挂载在列车或轨检车、又可安装于日常巡检轨道小车上的便捷、高效轨道扣件紧固件松动检测方法。

技术实现要素：

本发明的目的是提供一种基于三维形貌数据的轨道扣件紧固件松动检测方法，用以精确检测轨道扣件紧固件是否松动，以解决现有轨道扣件松动检测方法所存在的精度差、效率低、适用范围有限的问题。

为解决上述技术问题，本发明的技术方案如下：

一种基于纹理与深度图像的轨道扣件紧固件松动检测方法，其特征在于：包括以下步骤：

步骤1：采用纹理与深度混合成像系统获取轨道扣件紧固件表面纹理图像和深度图像；

步骤2：在纹理图像中提取紧固件roi1，在深度图像中提取紧固件roi2；

步骤3：利用roi1中纹理图像和roi2中深度图像，计算紧固件活动部件角度βc和高度hc；

步骤4：计算紧固件活动部件浮起高度δh＝hc-hb，hb是紧固件活动部件参考高度，计算紧固件活动部件旋转角度δβ＝|βc-βb|，βb是紧固件活动部件参考角度；

步骤5：设定高度判定阈值t^h和角度判定阈值tβ，当紧固件活动部件浮起高度δh＞t^h并且紧固件活动部件旋转角度δβ＞tβ时，判断扣件紧固件松动，否则紧固件未松动；

所述螺栓紧固件由螺栓与支座、或螺帽与螺杆组成，其中螺栓、螺帽是活动部件，支座、螺杆是固定部件。

所述纹理与深度混合成像由纹理成像系统和三维成像系统组成，其中纹理成像系统包括线阵扫描成像和面阵成像，三维成像系统包括线结构光扫描三维成像系统，面结构光三维成像系统，单目激光散斑三维成像系统，双目激光散斑三维成像系统，双目立体视觉三维成像系统，tof三维成像系统和光场成像三维成像系统；

所述纹理成像系统的成像光轴与轨道平面垂直；

所述三维成像系统的深度方向坐标轴与轨道平面垂直；

所述纹理成像系统与三维成像系统相对位置固定，纹理图像与深度图像中像素对应关系也固定、且已知；

当采用线阵扫描纹理成像和线结构光扫描三维成像时，需对获取的纹理图像和深度图像进行扫描方向校准，以保证纹理图像和深度图像中像素横坐标与纵坐标单位像素所代表的物理尺寸相等。

所述步骤2中在纹理图像中提取紧固件roi1，在深度图像中提取紧固件roi2的方法是：在纹理图像上，以扣件区域图像为模板，采用svm、knn、卷积神经网络模式识别方法，检测扣件roi3，根据紧固件在扣件中位置，在纹理图像中提取紧固件roi1，根据深度图像与纹理图像的位置关系，对roi1位置进行变换，得到深度图像中紧固件roi2。

所述步骤2中在纹理图像中提取紧固件roi1，在深度图像中提取紧固件roi2的另一种方法是：在深度图像上，根据扣件底座或轨枕的高度值先验信息，在轨道两侧扣件出现区域内，进行图像阈值分割，检测扣件；根据紧固件在扣件中位置，在深度图像中提取紧固件roi2，根据纹理图像与深度图像的位置关系，对roi2位置进行变换，得到纹理图像中紧固件roi1。

所述步骤3中利用roi1中纹理图像和roi2中深度图像计算紧固件活动部件角度βc的方法是：在roi2深度图像中，通过阈值分割提取紧固件活动部件区域，计算活动部件区域中心c，以当前紧固件未松动时活动部件纹理图像作为模板t，根据纹理图像与深度图像中像素位置关系，计算c在纹理图像中坐标c’，以c’为中心，采用模板匹配方法，在纹理图像roi1区域内找到最优匹配角度，作为活动部件角度βc。

所述模板匹配方法包括：基于灰度互相关的匹配，基于图像形状的匹配，基于图像梯度的匹配。

所述在roi2深度图像中，通过阈值分割提取紧固件活动部件区域的方法是：设定阈值t1，对roi2中像素进行阈值分割，得到活动部件区域；

其中，f(x,y)表示roi2中(x,y)处的像素灰度值，阈值t1＝vmax-a，其中，vmax表示roi2中的像素灰度最大值，a为固定常数，a的取值范围为0～50。

所述步骤3中在深度图像roi2区域内计算紧固件活动部件高度值hc是：当紧固件活动部件是螺栓时，计算活动部件区域内像素均值或中值，作为活动部件高度hc；此外，还可以计算活动部件区域内像素直方图，取像素直方图中非零的、数量最大的像素值作为活动部件高度hc；当紧固件活动部件是螺帽时，以活动部件区域中心c为圆点，给定半径r1，设定一个圆周，对位于该圆周上的二维深度图像进行采样，得到采样序列s，取序列s的均值或中值，作为活动部件高度hc；此外，还可以取序列s中非零、出现次数最多的像素值作为活动部件高度hc，其中r1的取值范围：r2<r1<r3，其中r2是螺杆外周半径，r3是螺帽外接圆半径，通过事先计算得到。

2、所述紧固件活动部件参考高度hb和参考角度βb当前紧固件在未松动情况下活动部件的高度和角度，hb计算方法与hc相同，参考角度βb为0；在检测时，由轨枕或扣件计数得到当前紧固件编号k，分别从参考高度数据集、参考角度数据集中提取编号为k的参考高度hb和参考角度βb。

本发明有益效果：本发明充分利用深度图像可直观反映紧固件活动部件高度信息，纹理图像可直观反映紧固件活动部件旋转角度信息的优点，同时获取活动部件高度变化和角度变化信息用于活动部件松动检测，具有以下优点：与单纯使用深度图像的紧固件松动检测相比，有旋转角度信息作为补充，可降低深度图像在高度方向上的分辨率和测量精度，有利于降低三维成像系统精度要求，降低系统成本；与单纯使用纹理图像的紧固件松动检测相比，有高度信息作为补充，可解决正多边形在不同旋转角度情况下出现重叠的二义性问题；以六边形螺栓为例，在旋转60度、120度、180度时，与未松动时图案重叠，而此时螺栓的高度肯定有变化。此外，本发明方法与cn201580000881x方法相比，不改变现有轨道扣件结构，可直接应用已完成施工的铁路扣件检测，并且可以实现螺帽松动自动检测；与cn2012101926412、cn2013101590001等方法相比，本发明不需要采用列车或大型轨检车对钢轨进行挤压做功，可将纹理与深度成像系统安装在日常巡检小车、列车、大型轨检车上，使用范围更广，使用方式更加便捷和灵活。

附图说明

图1是本发明方法的流程图。

图2是获取纹理与深度图像示意图。

图3是roi1和roi2计算示意图。

图4是模板匹配中心c’计算示意图。

图5是w型扣件示意图。

图6是z型扣件示意图。

图中，1是纹理与深度融合成像装置，2是轨枕，3是扣件，4是轨道，5是扣件紧固件，6是螺杆，7是螺帽，8是螺栓，9是弹条，10是纹理图像，11是深度图像。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本实施例提供一种基于纹理与深度图像的轨道扣件紧固件松动检测方法，具体实施方式如下：

实施例1

以图5所示的w型扣件为例进行说，该型扣件紧固件为螺帽7与螺杆6组成，螺帽7是活动部件，螺杆6是固定部件。

步骤1：采用纹理与深度混合成像系统获取轨道扣件紧固件表面纹理图像和深度图像；

如图2所示，采用纹理与深度融合成像系统1，垂直于轨道平面，拍摄轨道及两侧区域纹理图像和深度图像。

本实施例中纹理与深度融合成像系统，由线阵扫描成像和线结构光三维扫描装置构成。对获取的纹理图像和深度图像，进行扫描方向校正，以保证纹理图像和深度图像中横、纵坐标单位像素所代表的实际物理尺寸相同。

线阵扫描成像装置中线阵相机的光轴与轨道平面垂直。

线结构光三维扫描装置中线结构光平面与轨道平面垂直。

纹理成像系统与三维成像系统相对位置固定，纹理图像与深度图像中像素对应关系也固定、且已知。

步骤2：在纹理图像中提取紧固件roi1，在深度图像中提取紧固件roi2，具体方法是：如图3所示，在纹理图像上，以扣件区域图像为模板，采用卷积神经网络检测扣件roi3，根据紧固件在扣件中位置，在纹理图像中提取紧固件roi1，根据深度图像与纹理图像的位置关系，对roi1位置进行变换，得到深度图像中紧固件roi2。

步骤3：利用roi1中纹理图像和roi2中深度图像，计算紧固件活动部件角度βc和高度hc，具体方法是：

设定阈值t1，对roi2中深度图像像素进行阈值分割，得到活动部件区域r；

其中，f(x,y)表示roi2中(x,y)处的像素灰度值，阈值t1＝vmax-a，其中，vmax表示roi2中的像素灰度最大值，a＝5；

如图4所示，采用质心法计算活动部件区域中心c，根据纹理图像与深度图像中像素位置关系，计算c在纹理图像中坐标c’；

以当前紧固件未松动时活动部件纹理图像作为模板t，以c’为中心，采用模板匹配方法，在纹理图像roi1区域内找到最优匹配角度，作为活动部件角度βc；所述采用的模板匹配方法包括：基于灰度互相关的匹配，基于图像形状的匹配，基于图像梯度的匹配。

以活动部件区域中心c为圆点，给定半径r1，设定一个圆周，对位于该圆周上的二维深度图像进行采样，得到采样序列s，取序列s的均值或中值，作为活动部件高度hc，其中r1的取值范围：r2<r1<r3，其中r2是螺杆外周半径，r3是螺帽外接圆半径，通过事先计算得到。

步骤4：计算紧固件活动部件浮起高度δh＝hc-hb，hb是紧固件活动部件参考高度，计算紧固件活动部件旋转角度δβ＝|βc-βb|，βb是紧固件活动部件参考角度；

固件活动部件参考高度hb和参考角度βb当前紧固件在未松动情况下活动部件的高度和角度，hb计算方法与hc相同，参考角度βb为0；在检测时，由轨枕或扣件计数得到当前紧固件编号k，分别从参考高度数据集、参考角度数据集中提取编号为k的参考高度hb和参考角度βb。

步骤5：设定高度判定阈值t^h和角度判定阈值tβ，当紧固件活动部件浮起高度δh＞t^h并且紧固件活动部件旋转角度δβ＞tβ时，判断扣件紧固件松动，否则紧固件未松动，其中高度判定阈值t^h＝1mm，角度判定阈值tβ＝10°。

实施例2

与实施例1不同之处在于，在步骤3中，取序列s中非零、出现次数最多的像素值作为活动部件高度hc。

实施例3

与实施例1不同之处在于，在步骤2中计算roi1和roi2采用下面的方法：在深度图像上，根据扣件底座或轨枕的高度值先验信息，在轨道两侧扣件出现区域内，进行图像阈值分割，检测扣件；根据紧固件在扣件中位置，在深度图像中提取紧固件roi2，根据纹理图像与深度图像的位置关系，对roi2位置进行变换，得到纹理图像中紧固件roi1。

实施例4

与实施例1不同之处在于，以图6所示的z型扣件为例进行说明，该扣件的紧固件活动部件是螺栓8，在步骤3中，计算活动部件区域r内深度图像像素均值或中值，作为活动部件高度hc。

实施例5

与实施例4不同之处在于，在步骤3中，计算活动部件区域r内深度图像像素直方图，取像素直方图中非零的、数量最大的像素值作为活动部件高度hc。

以上所揭露的仅为本发明几种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。