一种车辆踏面擦伤的故障检测方法与流程

1.本发明涉及车辆车轮擦伤图像识别技术领域，是一种车辆踏面擦伤的故障检测方法。


背景技术：

2.车轮是车辆的关键部件，与行车安全息息相关，紧急制动、轮对与轨道间隙冲撞，以及转弯时轮对与钢轨面的相对滑动会造成踏面损伤，从而影响列车安全及使用寿命。因此，在车轮检修过程中必须对踏面的擦伤进行定期检测。
3.国内所采用的检测方法有震动加速度法、踏板法、电磁超声波法等，但均未产生理想的效果，因此仍沿用人工观察、手工测量的方法居多。同现有技术相比，图像处理检测方法具有速度快、精度高、开发成本低、重复性好的优点，具有一定的实用价值。


技术实现要素：

4.本发明为了加快对车辆车轮擦伤故障的识别，本发明提供了以下技术方案：一种车辆踏面擦伤的故障检测方法，具体为：
5.一种车辆踏面擦伤的故障检测方法，包括以下步骤：
6.步骤1：对车辆车轮进行样本图像采集；
7.步骤2：对采集到的样本图像进行预处理，以去除图像噪声，并对图像进行踏面分割，得到分割图像；
8.步骤3：根据预处理后的样本图像，训练踏面擦伤识别模型；
9.步骤4：根据踏面擦伤识别模型，对车辆车轮进行擦伤故障识别。
10.优选地，步骤2具体为：
11.步骤2.1：采用加权均值滤波对样本图像进行平滑处理，通过下式表示加权均值滤波g(x,y)：
[0012][0013]
其中，s是点(x,y)邻域内的点集，w(i,j)是权值，g(i,j)为邻域点(i，j)的像素值；
[0014]
步骤2.2：将平滑处理后的图像作为输入，输入至一个预训练好的resnet50中，获得对应的特征图，运用labelme对滤波后的图像中踏面进行标注，得到固定的特征；
[0015]
步骤2.3：对特征图中每一点设定预定的roi，获得多个roi，将候选的roi送入rpn网络进行二值分类和bb回归，过滤部分候选的roi；
[0016]
步骤2.4：对于剩余的roi进行roialign操作，即先将原图和特征图的像素对应起来，然后将特征图和固定的特征对应起来，将得到的roi进行多类别分类，bb回归和mask的生成，得到分割图像。
[0017]
优选地，步骤3具体为：
[0018]
步骤3.1：采用resnet101作为特征提取的基础网络，提取预处理后样本图像的特
征图谱，样本图像的特征图谱用于后续rpn层和全连接层；
[0019]
步骤3.2：引入了特征通道之间的融合模块se，用以在特征通道间进行特征融合，建立依赖关系，通过rpn网络把步骤3.1生成的特征图谱作为输入，生成推荐区域，通过softmax判断推荐区域属于前景还是背景，利用边界框回归算法修正推荐区域，获得目标区域；
[0020]
步骤3.3：通过roi检测网络收集输入的特征图谱和目标区域信息，并提取目标特征图，送入到全连接层，判定目标类别和位置；
[0021]
步骤3.4：利用目标类别和位置，调整踏面擦伤识别模型的参数，得到训练好的踏面擦伤识别模型。
[0022]
优选地，目标类别包括踏面擦伤和踏面未擦伤，具体的，当踏面擦伤面积大于1cm
×
1cm时，确定目标类别为踏面擦伤。
[0023]
优选地，步骤4具体为：基于踏面擦伤识别模型，将图像采集设备所拍摄的待检测图片作为输入，对踏面擦伤故障进行检测，得到待检测图片中的各个候选区域存在擦伤故障的概率值，再根据预先设置的阈值对检测结果进行筛选，将大于阈值的结果作为故障识别的结果进行输出。
[0024]
优选地，在根据预先设置的阈值对检测结果进行筛选之前，通过iou＝0.5的nms过滤重叠候选区域。
[0025]
优选地，将识别后的结果进行平滑拉伸处理，根据分割阶段的结果，读取mask，找到车辆车轮的上下边缘；
[0026]
计算上下边缘两条曲线点斜率的大小，取完整部分进行保留，并将所有踏面图像尺寸按照比例调节至等高，为图像拼接做准备；对所得的两条曲线进行平滑拟合，根据映射关系，对弯曲踏面图像的像素点一一对应到新图，使得弯曲踏面得到拉伸，完成拼图。
[0027]
优选地，选用的二次函数对两条曲线进行平滑拟合。
[0028]
优选地，步骤1具体为：在车辆轨道四周搭建图像采集设备，通过图像采集设备对车辆的车轮进行图像采集，同时收集雨水、泥渍、油渍和黑漆自然条件或者人为条件影响的车辆车轮图像，作为样本图像。
[0029]
本发明具有以下有益效果：
[0030]
本发明使用mask
‑
rcnn对图像踏面进行分割，去除背景，使得模型的运算速度、识别准确度提高。本发明结合改进后的faster
‑
rcnn，对分割好的踏面进行故障识别，其中特征通道的融合有效放大了相关特征、抑制了无关特征。识别准确率更高。本发明将圆弧形轨道进行拉伸与拼接，返回值清晰可见，更加方便检修人员快速定位。
附图说明
[0031]
图1是踏面分割原理图；
[0032]
图2是嵌入se模块的残差网络resnet101示意图；
[0033]
图3是车辆踏面擦伤的故障检测方法流程图。
具体实施方式
[0034]
以下结合具体实施例，对本发明进行了详细说明。
[0035]
需要特别说明的是，在不冲突的情况下，本申请公开的各个实施例之间或实施例包括的特征之间可以相互组合。
[0036]
具体实施例一：
[0037]
根据图1至图3所示，本发明提供一种车辆踏面擦伤的故障检测方法，具体方案如下：
[0038]
一种车辆踏面擦伤的故障检测方法，包括以下步骤：
[0039]
步骤1：对车辆车轮进行样本图像采集；
[0040]
步骤2：对采集到的样本图像进行预处理，以去除图像噪声，并对图像进行踏面分割，得到分割图像；
[0041]
步骤3：根据预处理后的样本图像，训练踏面擦伤识别模型；
[0042]
步骤4：根据踏面擦伤识别模型，对车辆车轮进行擦伤故障识别。
[0043]
具体实施例二：
[0044]
步骤2具体为：
[0045]
受光照强度与摆放位置影响，相同相机所拍摄样本倾斜角度、亮度相同；不同相机所拍摄样本倾斜角度、亮度不同。为提高定位的准确性，需对所采集的灰度图像进行预处理。预处理包括图像旋转，直方图均衡化、平滑去噪及踏面区域分割。
[0046]
步骤2.1：采用加权均值滤波对样本图像进行平滑处理，通过下式表示加权均值滤波g(x,y)：
[0047][0048]
其中，s是点(x,y)邻域内的点集，w(i,j)是权值，g(i,j)为邻域点(i，j)的像素值；
[0049]
步骤2.2：将平滑处理后的图像作为输入，输入至一个预训练好的resnet50中，获得对应的特征图，运用labelme对滤波后的图像中踏面进行标注，得到固定的特征；此时分割去除的是背景图像；
[0050]
步骤2.3：对特征图中每一点设定预定的roi，获得多个roi，将候选的roi送入rpn网络进行二值分类和bb回归，过滤部分候选的roi；
[0051]
步骤2.4：对于剩余的roi进行roialign操作，即先将原图和特征图的像素对应起来，然后将特征图和固定的特征对应起来，将得到的roi进行多类别分类，bb回归和mask的生成，得到分割图像。此时的分割图像是车辆踏面可能存在擦伤的图像。
[0052]
具体实施例三：
[0053]
步骤3具体为：
[0054]
步骤3.1：采用resnet101作为特征提取的基础网络，提取预处理后样本图像的特征图谱，样本图像的特征图谱用于后续rpn层和全连接层；
[0055]
步骤3.2：引入了特征通道之间的融合模块se，用以在特征通道间进行特征融合，建立依赖关系，通过rpn网络把步骤3.1生成的特征图谱作为输入，生成推荐区域，通过softmax判断推荐区域属于前景还是背景，利用边界框回归算法修正推荐区域，获得目标区域；
[0056]
为了进一步提高网络模型的特征提取能力，在残差网络resnet101的基础上，引入了特征通道之间的融合模块se，用以在特征通道间进行特征融合，建立依赖关系，并按照重
要程度，提升有益特征，抑制无效特征。强化网络性能。嵌入se模块的残差网络resnet101如图2所示。rpn网络把任意尺度的图像作为输入、输出系列的矩形目标框，用于生成推荐区域，通过softmax判断锚点属于前景还是背景，最后利用边界框回归图修正锚点，获得精确的proposals。
[0057]
步骤3.3：通过roi检测网络收集输入的特征图谱和目标区域信息，并提取目标特征图，送入到全连接层，判定目标类别和位置；为提高网络性能，减少误差，这里采用roi
‑
align算法来代替roi
‑
polling算法，将roi区域映射为原图的方法改为最近邻插值法。
[0058]
步骤3.4：利用目标类别和位置，调整踏面擦伤识别模型的参数，得到训练好的踏面擦伤识别模型。
[0059]
具体实施例四：
[0060]
目标类别包括踏面擦伤和踏面未擦伤，具体的，当踏面擦伤面积大于1cm
×
1cm时，确定目标类别为踏面擦伤。踏面擦伤的检测只有一个类别，根据轮胎大小与实际识别要求换算，踏面擦伤面积大于1cm
×
1cm时需要做出报警。
[0061]
具体实施例五：
[0062]
步骤4具体为：基于踏面擦伤识别模型，将图像采集设备所拍摄的待检测图片作为输入，对踏面擦伤故障进行检测，得到待检测图片中的各个候选区域存在擦伤故障的概率值，再根据预先设置的阈值对检测结果进行筛选，将大于阈值的结果作为故障识别的结果进行输出。
[0063]
具体实施例六：
[0064]
其中，fpn的每个特征工层选取score最大的1000个example计算focal loss，得到当前位置存在异物的概率值，将当前位置存在异物的概率值通过iou＝0.5的nms过滤重叠框，在根据预先设置的阈值对检测结果进行筛选之前，通过iou＝0.5的nms过滤重叠候选区域。
[0065]
具体实施例七：
[0066]
将识别后的结果进行平滑拉伸处理，根据分割阶段的结果，读取mask，找到车辆车轮的上下边缘；
[0067]
计算上下边缘两条曲线点斜率的大小，取完整部分进行保留，并将所有踏面图像尺寸按照比例调节至等高，为图像拼接做准备；对所得的两条曲线进行平滑拟合，根据映射关系，对弯曲踏面图像的像素点一一对应到新图，使得弯曲踏面得到拉伸，完成拼图。
[0068]
具体实施例八：
[0069]
为图像拼接做准备；对所得的两条曲线进行平滑拟合，选用的二次函数对两条曲线进行平滑拟合。
[0070]
具体实施例九：
[0071]
步骤1具体为：在车辆轨道四周搭建图像采集设备，通过图像采集设备对车辆的车轮进行图像采集，同时收集雨水、泥渍、油渍和黑漆自然条件或者人为条件影响的车辆车轮图像，作为样本图像。分别在车辆轨道周围搭建高清图像采集设备，车辆通过设备后，获取车轮高清图像。由于图像可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响。并且，不同站点拍摄的图像可能存在差异。因此，车轮图像之间千差万别。所以，在收集数据的过程中，要保证多样性，尽量将各种条件下的车轮图像全部收集。
[0072]
以上仅是一种车辆踏面擦伤的故障检测方法的优选实施方式，一种车辆踏面擦伤的故障检测方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。