铁路火车轴箱转臂异物检测方法与流程

文档序号：24559597发布日期：2021-04-06 12:09阅读：224来源：国知局

本发明属于故障图像识别领域，具体涉及基于深度学习的铁路客车轴箱转臂异物检测方法。

背景技术：

长期以来，检车人员采用人工检查(即通过查看过车图像的方式)对轴箱转臂区域是否搭载异物进行判断，检查工作是十分重要的，但大量的图像筛查使得检车人员在工作过程中极易出现疲劳，还容易发生漏检、错检的情况，难以保障检测的准确率和高效率。因此，客运火车故障检测中采用自动识别的方式具有一定的必要性，尤其在深度学习技术上不断成熟和完善的今天，可以极大地改善由单运用传统图像处理技术带来的鲁棒性不足的现状从而提高检测效率和准确率。应用深度学习方法实现故障自动检测报警，实现从人检作业向机检作业的转变，提高作业质量和作业效率。

技术实现要素：

本发明的目的是为解决现有人工故障检测方法所存在的故障检测的准确率以及效率低的问题，而提出铁路火车轴箱转臂异物检测方法。

本发明为解决上述技术问题所采取的技术方案是：铁路火车轴箱转臂异物检测方法，该方法包括以下步骤：

铁路火车轴箱转臂异物检测方法，其特征在于，该方法包括以下步骤：

步骤一、采集火车的全车线阵图像数据；

步骤二、对步骤一中采集的全车线阵图像数据进行粗定位，获得轴箱转臂位置图像；

步骤三、利用获得的轴箱转臂位置图像，建立样本数据集；

步骤四、选定检测网络模型；

步骤五、利用步骤三建立的样本数据集对检测网络模型进行训练，获得训练好的检测网络；

步骤六、利用训练好的检测网络进行轴箱转臂异物故障判别。

步骤一中采集火车的全车线阵图像数据；具体过程为：

在火车轨道周围利用固定设备搭载照相机或摄像机，对不同条件下行驶的客运火车进行拍摄，客运火车通过照相机或摄像机后，获取高清灰度全车图像。

步骤二中对步骤一中采集的全车线阵图像数据进行粗定位，获得轴箱转臂位置图像；具体过程为：

根据轴箱转臂的轴距信息和轴箱转臂的位置先验知识，从全车线阵图像数据中截取出轴箱转臂位置图像。

步骤三中利用获得的轴箱转臂位置图像，建立样本数据集；具体过程包括：

获取灰度图像集，其中，灰度图像集为步骤二获得的轴箱转臂位置图像集合，其中包含带有异物的轴箱转臂位置图像与不带有异物的轴箱转臂位置图像；

获取标签文件数据集，其中，标签文件数据集为与灰度图像集中图像一一对应的用于记录图像大小、图像中异物类别和异物位置坐标的左上角和右下角的文件的集合；

利用灰度图像集合和标签文件数据集组成样本数据集。

利用灰度图像集合和标签文件数据集组成样本数据集；具体过程包括：

对灰度图像集合中的灰度图像进行预处理，获得3通道灰度图像，其中，3通道中一通道放大2％～5％后裁剪至原图大小；一通道不做变化；一通道缩小2％～5％后在图像四周填充0像素至原图大小；

利用3通道灰度图像集合和标签文件数据集组成样本数据集。

利用灰度图像集合和标签文件数据集组成样本数据集；具体过程包括：

通过读取标签文件判断灰度图像集中带有异物的轴箱转臂位置图像是否达到灰度图像集中图像总数的50％，若否，对灰度图像集中带有异物的轴箱转臂位置图像进行扩增，使灰度图像集中带有异物的轴箱转臂位置图像占灰度图像集中总图像的比重大于或等于50％。

步骤四中选定检测网络模型，具体过程为：

选定骨干网络为resnet50的faster-rcnn检测网络模型，骨干网络resnet50的输入层输入的图片大小为3×640×352，其中，3×640×352中的3为通道数，640×352为图片尺寸，骨干网络resnet50的连接关系表征如下：

输入层输出端连接卷积层1的输入端，卷积层1具体参数为：卷积核大小为7*7，卷积核个数为64，步长为2；

卷积层1的输出端连接最大池化层1的输入端，最大池化层1具体参数为：卷积核大小为3*3，步长为2；

最大池化层1的输出分两路：一路连接网络基础块block2；一路连接一个卷积核大小为1*1，卷积核个数为256，步长为1的卷积层2，两路执行相加操作后作为输出1；

其中，网络基础块block2为一个卷积核大小为1*1，卷积核个数为64，步长为1的卷积层3，后连接一个卷积核大小为3*3，卷积核个数为64，步长为1的卷积层4，后连接一个卷积核大小为1*1，卷积核个数为256，步长为1的卷积层5；

输出1分两路：一路连接网络基础块block2；一路不做任何操作，两路执行相加操作后作为输出2；

输出2分两路：一路连接网络基础块block2；一路不做任何操作，两路执行相加操作后作为输出3；

输出3分两路：一路连接网络基础块block3-1；一路连接一个卷积核大小为1*1，卷积核个数为512，步长为2的卷积层6，两路执行相加操作后作为输出4；

其中，网络基础块block3-1为一个卷积核大小为1*1，卷积核个数为128，步长为1的卷积层7，后连接一个卷积核大小为3*3，卷积核个数为128，步长为2的卷积层8，后连接一个卷积核大小为1*1，卷积核个数为512，步长为1的卷积层9；

输出4分两路：一路连接网络基础块block3-2；一路不做任何操作，两路执行相加操作后作为输出5；

其中，网络基础块block3-2为一个卷积核大小为1*1，卷积核个数为128，步长为1的卷积层10，后连接一个卷积核大小为3*3，卷积核个数为128，步长为1的卷积层11，后连接一个卷积核大小为1*1，卷积核个数为512，步长为1的卷积层12；

输出5分两路：一路连接网络基础块block3-2；一路不做任何操作，两路执行相加操作后作为输出6；

输出6分两路：一路后连接网络基础块block3-2；一路不做任何操作，两路执行相加操作后作为输出7；

输出7分两路：一路连接网络基础块block4-1；一路连接一个卷积核大小为1*1，卷积核个数为1024，步长为2的卷积层13，两路执行相加操作后作为输出8；

其中，网络基础块block4-1为一个卷积核大小为1*1，卷积核个数为256，步长为1的卷积层14，后连接一个卷积核大小为3*3，卷积核个数为256，步长为2的卷积层15，后连接一个卷积核大小为1*1，卷积核个数为1024，步长为1的卷积层16；

输出8分两路：一路连接网络基础块block4-2；一路不做任何操作，两路执行相加操作后作为输出9；

其中，网络基础块block4-2为一个卷积核大小为1*1，卷积核个数为256，步长为1的卷积层17，后连接一个卷积核大小为3*3，卷积核个数为256，步长为1的卷积层18，后连接一个卷积核大小为1*1，卷积核个数为1024，步长为1的卷积层19；

输出9分两路：一路连接网络基础块block4-2；一路不做任何操作，两路执行相加操作后作为输出10；

输出10分两路：一路连接网络基础块block4-2；一路不做任何操作，两路执行相加操作后作为输出11；

输出11分两路：一路连接网络基础块block4-2；一路不做任何操作，两路执行相加操作后作为输出12；

输出12分两路：一路连接网络基础块block4-2；一路不做任何操作，两路执行相加操作后作为输出13；

输出13分两路：一路连接网络基础块block5-1；一路连接一个卷积核大小为1*1，卷积核个数为2048，步长为2的卷积层20，两路执行相加操作后作为输出14；

其中，网络基础块block5-1为一个卷积核大小为1*1，卷积核个数为512，步长为1的卷积层21，后连接一个卷积核大小为3*3，卷积核个数为512，步长为2的卷积层22，后连接一个卷积核大小为1*1，卷积核个数为2048，步长为1的卷积层23；

输出14分两路：一路连接网络基础块block5-2；一路不做任何操作，两路执行相加操作后作为输出15；

其中，网络基础块block5-2为一个卷积核大小为1*1，卷积核个数为512，步长为1的卷积层24，后连接一个卷积核大小为3*3，卷积核个数为512，步长为1的卷积层25，后连接一个卷积核大小为1*1，卷积核个数为2048，步长为1的卷积层26；

输出15分两路：一路连接网络基础块block5-2；一路不做任何操作，两路执行相加操作后作为输出16；

输出16作为输入，依次连接一个平均池化层，一个全连接层以及softmax函数。

步骤五中利用步骤三建立的样本数据集对检测网络模型进行训练，获得训练好的检测网络；具体过程为：

将步骤三建立的样本数据集输入检测网络模型，通过降低损失函数损失值为标准不断训练，找到最优的权重系数，得到训练好的检测网络模型。

步骤六中利用训练好的检测网络进行轴箱转臂异物故障判别；具体过程为：

步骤六一：获取待测火车的全车线阵图像数据；

步骤六二：对待测火车的全车线阵图像进行粗定位，获取待测火车的轴箱转臂位置图像；

步骤六三：使用训练好的检测网络模型对步骤六二获取的轴箱转臂位置图像进行预测，得到图像中异物类别的得分以及异物位置坐标的左上角和右下角，将左上角和右下角作为矩形框的对角点确定矩形框，得到矩形框的长度、宽度和面积；

步骤六四：基于所获得的的异物类别的得分、矩形框的长度、宽度和面积，确定待测火车是否满足判别标准；当同时满足判别标准时，待测火车的轴箱转臂区域存在异物。

判别标准包括：

步骤六三得到的异物类别的得分高于0.5；

步骤六三得到的矩形框的长度大于待测火车的轴箱转臂位置图像长度的1/10；

步骤六三得到的矩形框的宽度大于待测火车的轴箱转臂位置图像宽度的1/10；

步骤六三得到的矩形框的面积大于待测火车的轴箱转臂位置图像面积的5％。

本发明的有益效果是：

在火车轨道周围利用固定设备搭载成像设备，采集待检测行驶客车的全车线阵图像数据。根据定位的算法框架，从全车图像中获得包含轴箱转臂矩形区域。神经网络输入数据中输入3通道图像：其中，一通道放大2％～5％后裁剪至原图大小；一通道不做变化；一通道缩小2％～5％后在图像四周填充0像素至原图大小，与标签一起加入检测算法训练，可以有效进行异物的识别和定位，进一步提高算法的覆盖率与准确性，最后对确认搭载异物的图片进行报警输出，辅助车站工作人员快速检测列车部件，保证列车运行安全。

1、利用自动识别图像的方式代替人工检测，作业标准统一，不再受人员素质和责任心影响，有效提高作业质量提高检测的稳定性及精度，改善工作人员的健康。

2、将深度学习算法应用到检测铁路客运火车轴箱转臂搭载异物故障自动识别中，提高整体算法的稳定性及精度，同时比传统的手工标准特征提取的机器视觉检测方法具有高的灵活性、准确性和鲁棒性。

3、神经网络输入数据中输入3通道图像：其中，一通道放大2％～5％后裁剪至原图大小；一通道不做变化；一通道缩小2％～5％后在图像四周填充0像素至原图大小，与标签一起加入检测算法训练，不仅可以有效减少由于放大缩小这种扩增手段引起的训练时间的加长；还可以在真正的检测中有效提高检测的泛化能力。

附图说明

图1为本发明流程图；

图2为图像扩增预处理流程图；

图3为resnet-50的网络结构图。

具体实施方式

需要特别说明的是，在不冲突的情况下，本申请公开的各个实施方式之间可以相互组合。

具体实施方式一：结合图1说明本实施方式，本实施方式铁路火车轴箱转臂异物检测方法包括以下步骤：

步骤一、采集火车的全车线阵图像数据；

步骤二、对步骤一中采集的全车线阵图像数据进行粗定位，获得轴箱转臂位置图像；

步骤三、利用获得的轴箱转臂位置图像，建立样本数据集；

步骤四、选定检测网络模型；

步骤五、利用步骤三建立的样本数据集对检测网络模型进行训练，获得训练好的检测网络；

步骤六、利用训练好的检测网络进行轴箱转臂异物故障判别。

具体实施方式二：本实施方式与具体实施方式一不同的是，步骤一中采集火车的全车线阵图像数据；具体过程为：

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是，步骤二中对步骤一中采集的全车线阵图像数据进行粗定位，获得轴箱转臂位置图像；具体过程为：

根据轴箱转臂的轴距信息和轴箱转臂的位置先验知识，从全车线阵图像数据中截取出轴箱转臂位置图像。

以此减少计算量并提高识别的速度。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是，步骤三中利用获得的轴箱转臂位置图像，建立样本数据集；具体过程包括：

利用灰度图像集合和标签文件数据集组成样本数据集。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是，利用灰度图像集合和标签文件数据集组成样本数据集；具体过程包括：

利用3通道灰度图像集合和标签文件数据集组成样本数据集。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，利用灰度图像集合和标签文件数据集组成样本数据集；具体过程包括：

通过读取标签文件判断灰度图像集中带有异物的轴箱转臂位置图像是否达到灰度图像集中图像总数的50％，若否，对灰度图像集中带有异物的轴箱转臂位置图像进行扩增，使灰度图像集中带有异物的轴箱转臂位置图像占灰度图像集中总图像的比重大于或等于50％。如图2所示。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是，步骤四中选定检测网络模型，具体过程为：