钢轨伤损超声定位识别方法及计算机可读取存储介质与流程

本技术涉及钢轨探伤，尤其涉及一种应用于钢轨内部伤损智能定位及分类的超声探伤方法及计算机可读取存储介质，通过深度学习及图像分割技术能够高效、准确地定位钢轨内部伤损位置，并能自动识别出伤损的类别。

背景技术：

1、在轨道工程机械领域，钢轨探伤车6作为检测钢轨内部伤损的常用工程车辆，广泛应用于钢轨的探伤和维护。如附图1所示，一个超声波钢轨探伤系统通常包括：设置在钢轨探伤车6上的钢轨伤损检测系统7、钢轨伤损分析系统8，以及设置在钢轨探伤车上的探伤装置9，探伤装置9上安装有探轮11。当需要进行钢轨探伤作业时，钢轨伤损检测系统7控制探轮11压在钢轨13的上表面，钢轨伤损检测系统7向探轮11发出超声波激励脉冲信号，探轮11内部的超声波晶片12在交变电场作用下，产生与电场同步的机械振动，从而发射超声波信号，产生的超声信号经过轮液、轮膜、耦合液层入射至钢轨13，不同角度的超声波晶片12发射的超声波在钢轨13中的传播路径不同。超声波信号在钢轨13内传播时，遇到伤损或者钢轨底部则返回，返回的超声波信号经过钢轨伤损分析系统8后形成伤损图像信息。

2、如附图2所示，超声波钢轨探伤系统共配备了6个内部充满乙二醇液体的探轮11，左右各安装3个探轮11。在同侧探轮中，前、后探轮按照镜像位置安装，其内各配有6个超声波晶片12，即一个0度、一个45度、一个70度的三晶片阵列以及一个侧打晶片；中间探轮安装有两个指向钢轨13内侧的偏斜70度超声波晶片及一个0度超声波晶片。当钢轨探伤车6运行时，探轮11沿钢轨13滚动，其内部的超声波晶片12保持不动。不同安装角度的超声波晶片12能够保证对钢轨13进行多角度、多方位的探伤。

3、钢轨探伤车6的钢轨伤损分析系统8一般都有a型显示和b型显示两个图形窗口用于判伤。其中，a型显示通过示波器显示超声回波模拟信号，如附图3所示；而b型显示通过图像直观地显示钢轨内部超声信号反射点信息，如附图4所示。在b型图中，根据超声波的反射面定义如附图5所示的回波点，其法线方向为超声波传播方向，每个回波点能被对应角度的超声波晶片12检测到，因此记为相应的检测通道号。钢轨伤损检测系统7采用多次检测，一个结构特征可被多次检测，如螺(栓)孔的特征a、b、c能被不同的超声波晶片12检测到，从而形成“a”字型的检测图形，如附图6所示。

4、钢轨探伤车6由于其探伤效率高，探查范围全面等原因被广泛用于钢轨探伤作业中，但如何快速、精确地找到钢轨内部的伤损依旧是目前钢轨探伤亟待改进的方向。在现有的作业模式中，主要还是依靠车上和地面人员全线回放的方式实现人工判伤，这种方式不仅增加了人工劳动成本，且主要根据回放人员经验等因素影响，容易造成主观人为漏伤。此外，国内一些钢轨探伤车的钢轨伤损检测系统虽带有伤损识别功能，能够自动对所测数据进行伤损定位和分类，但其采用的识别算法是基于既有规则的逻辑判断方法。钢轨内多变的伤损形态和状况不能完全用简单逻辑来判断，因此伤损识别结果的准确率不高，误报较多，伤损漏报的现象时有发生。当前，利用决策树分析、人工特征构建和支持向量机等方式对超声波检测数据进行智能伤损识别逐渐成为研究的主流。随着深度学习在目标识别和分类方面的快速发展，出现了较多基于深度学习的伤损识别方法，如：将b型图按照16个超声通道制成二进制稀疏矩阵作为输入，利用通道间的距离特征实现目标的定位，再使用alexnet网络识别伤损；或者利用rgb颜色通道分别表示轨头、轨腰和轨底的信息，再使用rcnn网络进行目标检测。虽然深度学习方法具备多种优势，但在钢轨伤损识别的实际运用中仍然存在可解释性差和参数优化困难等问题。

5、在现有技术中，主要有以下技术方案与本技术相关：

6、现有技术1为广州中国科学院先进技术研究所于2020年03月03日申请，并于2020年07月10日公开，公开号为cn111402209a的中国发明申请。该申请公开了一种基于u-net的高速铁路钢轨损伤检测方法，包括如下步骤：搭建高速铁路钢轨损伤检测现实场景，获取钢轨损伤的检测图像；在采集的每个原始图像中标记钢轨损伤区域并将注释保存；通过平移、旋转和缩放的数据增强操作来扩充训练样本；设置钢轨损伤检测网络模型的参数，输入图像及其对应的分割图，通过深度学习算法平台实现检测网络的训练，并根据训练网络的评价指标来修改检测网络模型参数，直至得到评价指标；依据u-net网络计算出的分割图在原始输入图像上用矩形框进行标记，若采集的图像包含缺陷，则在计算机中提示相关处理结果，并将含缺陷工件标识入库。该申请能够适用于不同条件下的钢轨损伤裂纹检测，泛化性较强和准确率较高。该申请主要采用深度相机采集钢轨表面数据，以纯图像的形式进行采集呈现和分析，为了弥补采集数据的一些环境影响，还需通过另设光源的方式对亮度等进行补足，其并没有其他模态的数据协同进行伤损检测。另外，在整体架构上，该申请主要采用图像数据，以unet网络对钢轨表面伤损进行提取，最终将伤损部分用矩形框标记，其主要工作在于数据标注，数据预处理以及unet模型调参方面。

7、现有技术2为深圳市比一比网络科技有限公司于2021年09月24日申请，并于2022年01月04日公开，公开号为cn113888488a的中国发明申请。该申请公开了一种基于深度残差收缩网络的钢轨缺陷检测方法及系统，包括如下步骤：s1)基于既有钢轨的伤损图像数据进行数据预处理，对数据进行清洗；s2)对清洗后的伤损图像数据进行特征提取，得到相应伤损的特征向量；s3)对伤损图像的特征进行训练学习，得到最优的分类模型；s4)获取钢轨伤损图像数据，经过最优分类模型的分类，得到伤损列表。该申请不需要人工干预，降低人工成本，伤损检出率高，但对于噪声处理比较困难，且没有边缘形状信息。首先，该申请是在伤损数据的基础上解决伤损判定不准确的问题，其中使用的是b显图像数据，并未使用其他模态的数据，其更专注在伤损的判别场景上。同时，该申请跳过了对整线数据的目标定位步骤，而是直接在超声数据识别目标基础上再确定伤损的具体类别。

8、现有技术3为梁波等人发表于《激光与光电子学进展》2021年第2期326-332页的论文《基于改进u-net卷积神经网络的钢轨表面损伤检测方法》。该论文基于卷积神经网络的深度学习方法对钢轨表面损伤的自动化检测起到非常重要的推动作用，提出一种基于卷积神经网络的钢轨表面损伤检测方法。首先，在经典u-net的收缩路径和扩展路径之间增加一个分支网络可以辅助u-net输出理想的分割图。然后，将type-i rsdds高速铁路轨道数据集作为检测样本，使用数据增强的手段扩增检测样本后放入改进的u-net中进行训练和测试。最后，采用评价指标对所提方法进行评估。经检测，该论文所提方法的检测准确率达到99.76％，相比于其他方法的最高水平提高6.74个百分点，可以显著提高检测准确率。该论文主要使用type-i rsdds高速铁路轨道数据集作为检测样本，根据其论文中示例，其组成为使用高速相机拍摄的钢轨表面图像，输入数据的差异会影响后续所选用的技术路线及对数据本身处理的一系列方法。另外，该论文旨在使用一种改良的u-net卷积神经网络对钢轨表面的伤损进行分割和定位，其优势在于在扩展路径之前添加一个分支单元，命名为grasp网络，该分支网络将收缩路径(下采样部分)的输出结果作为输入，将分支网络处理后的预测结果作为输出并将其与扩展路径最终的输出结果结合，旨在优化目标分割的准确率。因此，其本身是对unet网络进行的改良，没有加入其他的处理手段。

9、现有技术4为罗江平等人发表于《机车电传动》2021年第2期100-107页的论文

10、《基于深度学习与支持向量机的钢轨伤损智能识别系统》。该论文提出了基于深度学习与支持向量机的钢轨伤损智能识别系统技术方案，采用深度可分离卷积与选择性搜索相结合的方式进行目标定位；基于人工构建的多维特征，采用支持向量机方式进行伤损图像分类；通过使用实际线路所测试数据中人工标注样本进行测试，验证了方法的有效性。测试结果表明，在各类技术指标上表现优异，伤损检出率达到99.8％，误报率降低为12％，分类准确率达到95％以上。该论文采用选择性搜索的方式提供候选框，采用可分离卷积网络确定许多候选框内目标分数最高的一个为需要确定的目标。在目标位置确定后，人工设计90维特征，训练支持向量机模型，通过支持向量机确定最终的伤损类别。但是，该论文采用可分离卷积网络会导致核的处理不连续，从而损失信息的相互关联性。同时，该论文采用人工选取特征，存在一定的主观性。

技术实现思路

1、有鉴于此，本技术的目的在于提供一种钢轨伤损超声定位识别方法及计算机可读取存储介质，以解决现有钢轨伤损超声检测方法需要较多的人工干涉，检测周期长及伤损检出率低的技术问题。

2、为了实现上述发明目的，本技术具体提供了一种钢轨伤损超声定位识别方法的技术实现方案，钢轨伤损超声定位识别方法，包括以下步骤：

3、s11)将钢轨超声波检测信号转换为超声波时间序列数据及视觉可见的b显图像数据；

4、s12)对步骤s11)生成的超声波时间序列数据及b显图像数据进行预处理；

5、s13)采用图像分割网络对经过步骤s12)处理后的b显图像数据进行语义分割，并生成分割子区域，以实现伤损定位；

6、s14)根据步骤s13)生成的分割子区域采用分类网络对区域内的目标进行伤损类别识别；

7、s15)采用专家规则对步骤s14)的分类结果进行特征提取和后处理，精细化步骤s14)得到的伤损识别结果。

8、进一步的，所述步骤s11)进一步包括以下过程：

9、采用若干个单位脉冲长度内的超声波检测信号作为一帧图像包含的数据，以此将原始超声波检测信号数据转换成若干的图像数据，并以数据流的形式不断输入至步骤s12)进行数据预处理。

10、进一步的，所述步骤s12)中的数据预处理过程是对超声波时间序列数据及b显图像数据进行包括增强、补充或去噪在内的处理，通过数据预处理在平衡数据分布的基础上，使得数据类内距离变小，类间距离变大。

11、进一步的，所述步骤s12)中的预处理过程包括以下步骤：

12、在超声波时间序列数据的基础上直接将底波消失的数据删除。

13、进一步的，所述步骤s12)中的预处理过程包括以下步骤：

14、根据已有超声波检测信号确定的伤损类别，从原始超声波时间序列数据中按照坐标区域将伤损的回波点数据截取下来，根据伤损的范围，按照代表深度的纵坐标不变，代表距离的横坐标随机的方式整体绘制到新的预设背景图中，模拟不同背景下的伤损数据，从而进行数据扩增；或者根据伤损的延展规律，通过数据切分的方式进行部分数据的提取、重构，形成新的伤损，并以b显图像的形式呈现，从而实现数据的扩增。

15、进一步的，所述步骤s12)中的预处理过程包括以下步骤：

16、分别采用3*3、5*5及7*7尺寸大小的掩模并根据掩模步长滑窗式地遮掩b显图像数据的内容，并确保所选用的尺寸遮盖部分不对伤损的判断造成影响。

17、进一步的，所述步骤s12)中的预处理过程包括以下步骤：

18、对超声波时间序列数据进行希尔伯特变换求取解析信号，保留信号单边频谱用于绘制信号的包络线，减少时间序列的噪声干扰。希尔伯特变换表示为xa＝f-1(f(x)2u)，其中xa表示希尔伯特解析信号，f(·)和f-1(·)分别表示傅里叶变换和傅里叶逆变换，u表示单位阶跃信号，x表示原始信号；在解析信号的包络线确定后，在每个时刻点上利用上包络线的值与下包络线的值计算每个时刻点包络线的均值。

19、进一步的，所述步骤s13)中的图像分割网络采用unet网络。

20、进一步的，所述步骤s13)包括以下过程：

21、s131)经过步骤s12)处理后的b显图像数据作为输入特征图，先将其缩放为572×572×1的尺寸大小，经过两次3×3×64的卷积核进行卷积操作变为568×568×64大小，然后进行2×2最大池化操作变为284×284×64大小，完成一次下采样操作。

22、按照上述步骤s131)再重复进行三次3×3卷积及2×2池化操作，在每进行一次最大池化操作后，紧接着第一个3×3卷积操作的卷积核数量成倍增加。

23、s132)在到达最底层第四次最大池化之后，特征图变为32×32×512大小，然后再进行两次3×3×1024卷积操作，最后变为28×28×1024大小。

24、s133)上采样操作在基于28×28×1024大小的特征图上进行，首先进行2×2×512的反卷积操作使特征图变化为56×56×512大小，然后对对应最大池化层之前的图像进行复制和剪裁，与反卷积得到的图像按照通道维度进行拼接得到56×56×1024大小的特征图，然后再进行3×3×512卷积操作，完成一次上采样操作。

25、按照上述步骤s133)再重复进行三次2×2反卷积和3×3卷积操作，在每进行一次拼接之后的第一个3×3卷积操作的卷积核数量成倍减少。

26、s134)在到达最上层第四次反卷积之后，特征图变为392×392×64大小，进行复制和剪裁然后拼接得到392×392×128大小，然后再进行两次3×3×64卷积操作。

27、s135)得到388×388×64大小的特征图，最后再进行一次1×1×2卷积操作，得到b显图像的分割区域信息。

28、进一步的，根据所述步骤s13)得到的分割区域信息获取每个单独的目标图块为形状不规则的b显图像块，将分割出来的b显块绘制到黑色背景中，生成新的子块图像，再通过设计的二级分类器对最终的伤损类型进行识别。

29、进一步的，所述步骤s14)包括：

30、在利用分类网络进行伤损分类后，每个子块图像的检测样本都得到一个类别的置信度，即检测样本属于某一种目标类别的概率值，记为vobj_conf，预设检测样本的概率值vobj_conf≥thresh时，分类网络能够进行准确判定，thresh值根据情况不同可自定义设置。当检测样本的概率值vobj_conf＜thresh时，将该置信度较低的检测样本划分为垃圾类，表示当前检测样本的目标类别还需要其他信息进行辅助判断。然后再针对垃圾类通过专家规则进行目标类别的判断，进行精确的目标类别确定。

31、进一步的，所述步骤s14)中的分类网络采用resnet网络作为二级分类器。

32、进一步的，所述步骤s14)包括以下过程：

33、s141)分割子区域的子块图像缩放为224×224×3的尺寸大小，首先进行一次卷积操作，该卷积操作的卷积核为3×3，步长为2，填充为3，输出通道为64，输出特征图大小为112×112×64。

34、s1421)第一残差结构组合包括两个残差基础结构，输出特征图首先进行两次3×3×64卷积操作，该卷积操作的卷积核为3×3，步长为1，填充为1，通道数为64，按照通道相加的方式与该残差基础结构的输入特征图进行相加。第二次再进行两次3×3×64卷积操作，该卷积操作的卷积核为3×3，步长为1，填充为1，通道数为64，按照通道相加的方式与该残差基础结构的输入特征图进行相加。此时第一残差结构组合输出的特征图大小为56×56×64。

35、s1422)第二残差结构组合包括两个残差基础结构，所述第一残差结构组合输出的特征图先进行两次3×3×128卷积操作，该卷积操作的卷积核为3×3，步长为1，填充为1，使用128个核函数。在两次卷积操作之间进行一次1×1×128卷积操作，步长为2，填充为0，将特征图尺寸缩小一半，同时按照通道相加的方式与该残差基础结构的输入特征图进行相加。再进行两次3×3×128卷积操作，卷积核为3×3，步长为1，填充为1，使用128个核函数，同时按照通道相加的方式与该残差基础结构的输入特征图进行相加。此时第二残差结构组合输出的特征图大小为28×28×128。

36、s1423)第三残差结构组合包括两个残差基础结构，所述第二残差结构组合输出的特征图先进行两次3×3×256卷积操作，该卷积操作的卷积核为3×3，步长为1，填充为1，使用256个核函数。在两次卷积操作之间进行一次1×1×256操作，步长为2，填充为0，将特征图尺寸缩小一半，同时按照通道相加的方式与该残差基础结构的输入特征图进行相加。第二次再进行两次3×3×256卷积操作，该卷积操作的卷积核为3×3，步长为1，填充为1，使用256个核函数，同时按照通道相加的方式与该残差基础结构的输入特征图进行相加。此时第三残差结构组合输出特征图大小为14×14×256；

37、s1424)第四残差结构组合包括两个残差基础结构，所述第三残差结构组合输出的特征图先进行两次3×3×512卷积操作，该卷积操作的卷积核为3×3，步长为1，填充为1，使用512个核函数。在两次卷积操作之间进行一次1×1×512操作，步长为2，填充为0，将特征图尺寸缩小一半，同时按照通道相加的方式与该残差基础结构的输入特征图进行相加。第二次再进两次3×3×512卷积操作，该卷积操作的卷积核为3×3，步长为1，填充为1，使用512个核函数，同时按照通道相加的方式与该残差基础结构的输入特征图进行相加。此时第四残差结构组合输出特征图大小为7×7×512；

38、s143)经所述步骤s141)输出的特征图在经过四个残差结构组合后再进行平均池化操作，输出数据大小为1×1×512，最后通过全连接层输出对应到分类所属的若干类别上，通过激活函数最终输出目标区域的伤损类别及其概率值。

39、进一步的，所述专家规则的输入为图像数据，或为超声波时间序列数据。通过专家规则将分类网络难以划分的垃圾类目标，结合基础的超声波时间序列数据及图像数据，联合确定最终的伤损类别。

40、进一步的，所述步骤s15)中的专家规则包括：

41、基于超声波时间序列数据计算目标区域内所有通道回波点的拟合直线，确定拟合直线后，计算总斜率其中，δy及δx分别表示目标区域内伤损回波点的纵坐标增量及横坐标增量；

42、基于超声波时间序列数据计算目标区域内某一通道回波点的拟合直线，确定拟合直线后，计算某一通道的斜率δyc和δxc分别表示属于某一通道的伤损回波点的横坐标增量和纵坐标增量；

43、只有当每一个通道的斜率kc及所有通道的总斜率k均不满足轨头核伤、轨腰伤损、轨底伤损中的任一判断条件时，在趋势条件下判断当前目标为噪声。

44、进一步的，所述步骤s15)中的专家规则包括：

45、针对散点噪声，基于b显图像数据求取当前目标区域的密度及1/4密度，记为其中，s表示当前目标区域的面积，m表示当前目标区域内的通道回波点数量。通过将当前目标区域切分成四个子区域，分别求其对应的密度分布情况，判断是否为伤损，并优化伤损区域进行二次定位。

46、进一步的，所述步骤s15)中的专家规则包括：

47、针对形状具有较大相似性的目标，基于b显图像数据分别通过采用掩模匹配和通道回波点位置匹配的方法，计算并分析目标是否符合回波点分布规律。首先，采用二值化方法分别针对目标图像数据将目标和背景部分区分开，再使用掩模在子目标图像上滑动，从而判断未匹配上的目标的尺寸是否异常。

48、进一步的，所述步骤s15)中的专家规则包括：

49、针对螺孔裂纹，基于b显图像数据通过判断前后两个方向的45度通道回波点与0度通道回波点的位置关系，以及回波点是否出现在螺孔的裂纹位置，从而判断螺孔是否出现异常。

50、本技术还另外具体提供了一种计算机可读取存储介质的技术实现方案，所述计算机可读取存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的钢轨伤损超声定位识别方法。

51、通过实施上述本技术提供的钢轨伤损超声定位识别方法及计算机可读取存储介质的技术方案，具有如下有益效果：

52、(1)本技术钢轨伤损超声定位识别方法及计算机可读取存储介质，采用图像分割网络对b显图像进行语义分割，并对形成的分割子区域采用分类网络进行伤损类别判断，不需要人工参与即可获得较为准确的目标位置和类别结果，克服了现有钢轨伤损超声检测方法需要人工设计特征并人为决策b显数据切分的问题，极大地提高了伤损检出率，缩短了钢轨超声波探伤的检测周期；

53、(2)本技术钢轨伤损超声定位识别方法及计算机可读取存储介质，从图像处理的角度利用图像分割网络对钢轨内部伤损直接定位，并利用分类网络确定伤损类别，实现了端到端的钢轨超声波探伤数据识别，并能够结合多层特征准确判别伤损性质，解决了现有钢轨伤损超声检测方法可解释性差及参数优化困难，无法准确分析钢轨内部伤损，对于噪声及边缘形状信息处理困难的技术问题；

54、(3)本技术钢轨伤损超声定位识别方法及计算机可读取存储介质，将原始超声波回波信号数据(b显数据)转换为时间序列数据，通过时间序列数据引入了时间的概念，能够展示出不同时刻回波之间的关联性；同时，在时间序列数据的范畴中，利用过去和当前时刻的统计特征预测和指导未来时刻的数据变化趋势，且符合事物客观发展规律；同样，在将原始超声波回波信号数据(b显数据)转换为时间序列数据的同时，可以让时序序列数据本身拥有更加丰富的性质，例如周期性，平稳性，时频域特性等；另外，时序序列允许容忍一定的随机变量，增加了预测模型的泛化能力；

55、(4)本技术钢轨伤损超声定位识别方法及计算机可读取存储介质，采用图像视觉的方式进行超声波钢轨检测数据的目标定位和识别，先将钢轨超声波检测数据转换为视觉可见的图像数据，并选择特殊视觉领域的数据预处理方法进行数据增强、补充和去噪，能够很好地解决原始数据分布不平衡以及数据容易受噪声干扰等问题；

56、(5)本技术钢轨伤损超声定位识别方法及计算机可读取存储介质，在进行伤损类别判断时新分垃圾类，能够区分伤损和非伤损或噪音类别分度边缘的少量混淆样本，解决某些目标和噪音靠分类网络难以区分的技术问题。设定噪声类别能够避免分类网络因为切分不准，将散点噪声及不符合伤损延展规律的b显回波点部分切分下来；

57、(6)本技术钢轨伤损超声定位识别方法及计算机可读取存储介质，通过人工设计特征构建专家规则，能够将垃圾类中分类器难分的目标，结合基础时间序列及图像信息，联合确定最终的伤损类别，从而精细化伤损识别的结果，并保证识别结果更符合实际作业要求。同时，通过多模态数据处理方式，不仅能弥补图像数据去除噪声困难、二级分类器对噪声不敏感的技术问题，还能弥补仅仅依靠时间序列，难以人工准确设计特征，导致目标区域切割异常及没有明确分界曲面的问题。