一种基于CNN的移动端列车图像故障检测方法

本发明涉及列车图像故障检测，特别是涉及一种基于cnn的移动端列车图像故障检测方法。

背景技术：

1、传统的列车故障检测由列检人员手工完成，他们在列车停靠站台时对主要零部件进行检测和维修。此类检测方法检测效率低下，而且易受极端天气的影响。随着计算技术与人工智能算法的发展，出现了不同的检测模型来对列车零部件进行故障检测。

2、现有的列车零件故障检测方法，例如基于数据驱动的列车图像故障检测方法，此类检测方法在一定程度上提高了列车图像故障检测性能；然而，传统的信号处理方法实用性不强，过于依赖技术人员丰富的故障检测经验和铁路系统知识。现有的另外一种列车零件故障检测方法，例如基于深度学习的列车图像故障检测方法，其中有关学者提出的一种基于循环谱相关性二维图和卷积神经网络的故障诊断方法，首先，通过循环谱分析振动信号的二维图，为特定类型的故障提供轴承判别模式；然后，利用领域相关诊断知识，降低了深度诊断模型中特征学习的难度；最后，通过构建cnn模型，学习高级特征表示，进行故障分类。

3、上述列车故障检测方法的检测效率得到了大幅提升，但每日需检测的列车图像数量过于庞大，检测速度难以满足需求，并且在室外缺少高性能服务器的情况下，难以完成实时列车故障检测任务。

4、因此，目前还需要设计一种高效、高效的列车图像故障检测方法模型，提高列车图像检测精度和速度，实现移动端实习列车图像故障检测。

5、公开号为cn105501248a的发明创造专利，公开了一种铁路线路巡检系统，包，所述巡检系统包括来往列车信息获取、数据及故障处理、飞行控制和数据采集子系统，来往列车信息获取子系统确定铁路线路的来往列车信息，并将来往列车信息送至数据及故障处理子系统，所述数据采集子系统设置在所述无人机上，采集所述铁路线路的现场数据，并将所述现场数据发送至所述数据及故障处理子系统进行处理，所述现场数据包括所述铁路线路的雷达扫描数据和现场图像数据；此发明创造的检测方法在一定程度上提高了列车图像故障检测性能，然而由于每日需检测的列车图像数量过于庞大，使用此发明创造，列车故障检测速度难以满足需求，并且此发明创造也不便于在室外缺少高性能服务器的情况下使用。

技术实现思路

1、针对上述存在的技术问题，本发明提供了一种基于cnn的移动端列车图像故障检测方法，以快速精准地完成列车图像故障检测。

2、本发明采用以下具体的技术方案：

3、一种基于cnn的移动端列车图像故障检测方法，其特征在于，所述方法包括以下步骤：

4、s1：预处理列车图像，将列车图像缩放至适当的尺寸，并使用数据增强的方法扩充待检测的数据集。

5、s2：将预训练权重和步骤s1中的数据集输入至pc端，用于训练移动端的列车图像故障检测模型lmtd，并输出模型权重，其lmtd模型由轻量级特征提取网络lfenet、残差聚合网络rpan和耦合模块组成；

6、s3：lmtd模型的训练过程如下：

7、s3.1：将经过预处理的图像送至lmtd模型中的轻量级特征提取网络lfenet，以获取列车图像的特征图；

8、s3.2：使用残差聚合网络rpan将上述步骤s2.1中获取的相邻特征图进行特征融合，并获取多层次特征图，用于多尺度特征预测，检测不同尺度的目标。

9、s3.3：将步骤s2.2中提取的列车图像特征输入至耦合模块中的耦合检测器进行多尺度列车故障检测，并使用simota动态标签分配策略，优化lmtd模型的训练过程，得到分类和回归结果。

10、s4：将步骤s3中训练过的lmtd模型部署至移动端设备，输入待检测的列车图像，检测列车故障，并展示lmtd模型检测列车故障的检测结果。

11、进一步地，所述步骤s3.1的轻量级特征提取网络lfenet由ghost模块和cbam模块组成轻量级块lb堆叠而成。

12、进一步地，所述ghost模块使用resnet中的残差结构，由点卷积和深度卷积组成，ghost模块使用少量的参数，生成大量的特征信息。

13、进一步地，所述cbam为轻量级注意力机制，嵌入至cnn，cbam通过对特征图的通道维度和空间维度进行加权获取图像中的关键信息，使lfenet聚焦于图像中的关键信息。

14、进一步地，所述lfenet主要包含一个卷积层和三个lb模块，输出三种尺度的特征图。

15、进一步地，所述步骤s2中的残差聚合网络rpan进行特征图处理的过程为：通过卷积操作调整特征图的通道数，并使用上采样或下采样调整特征图的尺寸，将调整尺寸的特征图使用残差结构进行特征融合，得到不同尺寸的特征图。

16、进一步地，所述卷积操作使所有特征图的通道数需与输入特征图中最小的通道数保持一致。

17、进一步地，所述步骤s2.3中耦合检测器耦合分类分支和回归分支。

18、进一步地，所述步骤s2.2中的优化lmtd模型的训练过程中，simota通过先验框中心点确定正样本的候选区域，计算正样本候选区域产生的每个预测框与真实框的交并比，将计算所得的交并比从大到小依次排序，对前n个的交并比求和得到参数,并计算候选区域的代价矩阵。

19、进一步地，所述候选区域的代价矩阵的计算公式如下：

20、

21、其中i,j代表矩阵的行和列，λ是平衡系数，是预测框与真实框的分类损失，是预测框与真实框的回归损失，cost矩阵代表当前真实框与预测框之间的关系。

22、本发明的有益效果为：

23、本发明设计了一种新颖的轻量级特征提取网络lfenet以提高模型检测精度、降低计算成本、增强模型的光照变化鲁棒性和噪声鲁棒性；其次，本发明提出了残差聚合网络rpan获取多层次特征图，以检测不同尺寸的目标，提高模型的表达能力；最后，耦合检测器对列车故障进行分类和定位，引入simota动态标签分配策略，优化lmtd模型的训练过程，减小因正样本与负样本标签分配不当而对模型检测效果产生的负面影响，完成对列车图像故障检测任务；综上所述，本发明提供了一种高效、高效的列车图像故障检测方法，提高列车图像检测精度和速度，实现移动端实习列车图像故障检测。

技术特征：

1.一种基于cnn的移动端列车图像故障检测方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的一种基于cnn的移动端列车图像故障检测方法，其特征在于，所述步骤s3.1的轻量级特征提取网络lfenet由ghost模块和cbam模块组成轻量级块lb堆叠而成。

3.根据权利要求2所述的一种基于cnn的移动端列车图像故障检测方法，其特征在于，所述ghost模块使用resnet中的残差结构，由点卷积和深度卷积组成，ghost模块使用少量的参数，生成大量的特征信息。

4.根据权利要求2所述的一种基于cnn的移动端列车图像故障检测方法，其特征在于，所述cbam为轻量级注意力机制，嵌入至cnn，cbam通过对特征图的通道维度和空间维度进行加权获取图像中的关键信息，使lfenet聚焦于图像中的关键信息。

5.根据权利要求2所述的一种基于cnn的移动端列车图像故障检测方法，其特征在于，所述lfenet主要包含一个卷积层和三个lb模块，输出三种尺度的特征图。

6.根据权利要求1所述的一种基于cnn的移动端列车图像故障检测方法，其特征在于，所述步骤s2中的残差聚合网络rpan进行特征图处理的过程为：通过卷积操作调整特征图的通道数，并使用上采样或下采样调整特征图的尺寸，将调整尺寸的特征图使用残差结构进行特征融合，得到不同尺寸的特征图。

7.根据权利要求6所述的一种基于cnn的移动端列车图像故障检测方法，其特征在于，所述卷积操作使所有特征图的通道数需与输入特征图中最小的通道数保持一致。

8.根据权利要求1所述的一种基于cnn的移动端列车图像故障检测方法，其特征在于，所述步骤s2.3中耦合检测器耦合分类分支和回归分支。

9.根据权利要求1所述的一种基于cnn的移动端列车图像故障检测方法，其特征在于，所述步骤s2.2中的优化lmtd模型的训练过程中，simota通过先验框中心点确定正样本的候选区域，计算正样本候选区域产生的每个预测框与真实框的交并比，将计算所得的交并比从大到小依次排序，对前n个的交并比求和得到参数k,并计算候选区域的代价矩阵。

10.根据权利要求9所述的一种基于cnn的移动端列车图像故障检测方法，其特征在于，所述候选区域的代价矩阵的计算公式如下：

技术总结
本发明公开了一种基于CNN的移动端列车图像故障检测方法，所述方法的步骤包括：S1：预处理列车图像，获取待检测的数据集；S2：将预训练权重和步骤S1中的数据集输入至PC端，用于训练移动端的列车图像故障检测模型LMTD，其LMTD模型由轻量级特征提取网络LFENet、残差聚合网络RPAN和耦合模块组成；S3:将步骤S2中训练过的LMTD模型部署至移动端设备，输入待检测的列车图像，检测列车故障，并展示LMTD模型检测列车故障的检测结果；本发明LMTD模型中LFENet用于提高模型检测精度并降低计算成本；LMTD模型中的RPAN获取多层次特征图，以检测不同尺寸的目标，提高模型的表达能力，提升检测精度；综上所述，本发明提高列车图像检测精度和速度，实现移动端实习列车图像故障检测。

技术研发人员：张龙信,周鹏,邓晓军,文志诚,文志华,张潇云
受保护的技术使用者：湖南工业大学
技术研发日：
技术公布日：2024/1/14