轨道车辆螺栓松动检测方法及系统与流程

本发明属于铁路故障检测技术领域，涉及轨道车辆螺栓松动检测技术，具体地说，涉及一种轨道车辆螺栓松动检测方法及系统。

背景技术：

螺栓是动车组、城轨和地铁等轨道车辆的常用紧固件，在行车过程中由于受腐蚀、振动和冲击等因素的影响，很容易引起螺栓的变形、松动、断裂或脱落，从而引起设备故障，甚至造成重大安全事故。因此，对螺栓的松动检查一直是车辆日检的重要项目。

为保证轨道车辆安全运行，工作人员需要每天对螺栓进行状态检查，检查项目其中一项就是检查螺栓是否松动。通常情况下，一节车厢上面就有几百甚至更多的螺栓，一天当中又有多列列车，对螺栓松动的检测是一件极其繁重的工作。传统检查螺栓的方法为人工巡检法，主要有两种方式：一种方式是不管螺栓是否已经松动，工作人员都会用扳手拧紧螺栓，确保螺栓处于拧紧的状态；另一种方式是螺栓在第一次拧紧后分别在螺栓和螺母上用线标记拧紧的状态，检查时只需查看是螺栓和螺母上的划线是否对齐，如果不对齐则拧紧至其对齐。第一种方式工作量大、效率低下、没有针对性，而第二种方式容易使工作人员在检测大量螺栓后产生视觉疲劳，导致错检、漏检，特别是现在开通的高速列车，更要工作人员能快速、准确地完成螺栓的检测。此外，由于多数列车均在夜晚入库，夜晚人员容易疲劳，检修质量依赖于工作人员的责任心，依稀细节在光照、疲劳等因素影响下又难以发现，容易造成潜在的安全隐患。为了减少工作量，提高工作效率。目前，比较常用的螺栓检测方法主要基于振动信号分析和图像识别。

基于振动信号分析的螺栓检测方法，在获取振动信号时，主要有以下两种方式：一种是采用ods(全称：operationaldeflectionshape)数学模型，分析车轮经过某区间的振动信号，人工观察筛选出ods值的异常情况，进而判断松动区间，但该方式未能实现在线实时检测；另一种方式是借助敲击锤不断敲击被固定结构，同时对余振信号进行采集和分析，但该方式存在速度较慢的问题。此外，上述两种方式虽然在一定程度上提高了工作效率，但工作效率并不高，仍然存在工作效率低的问题。

基于图像识别的螺栓松动检测方法，依赖于防松标志和模板图像。例如：公开号为cn108469336a的中国专利申请公开了一种基于图像处理的螺栓松动检测方法，包括以下步骤：在拧紧的螺栓上，安装方向标记物；将被检测螺栓附近相对固定的结构边缘线作为参考线；将摄像头对准螺栓、方向标记物及参考线；摄取螺栓拧紧状态的第一次图像；通过计算机对摄取的第一次图像进行处理，识别出螺栓中心点、方向标记结构、参考线，再识别出标记角点，接着作出垂线，从螺栓中心点作出射线，从垂线以零度开始沿逆时针方向计算出射线相对于垂线的夹角；反复重复上述步骤得出第n次的夹角；将每次得出的夹角与第一次夹角比较，偏差较大时，将检测出松动的螺栓拧紧。由于行车过程环境复杂，防松标志可能会被油污覆盖、异物遮挡或脱落，且油污、异物的形状颜色各异，倒置模板匹配得分很低甚至无法判断。因而，依赖现有的单光谱图像采集装置及常规图像识别方法难以满足实际需求，存在检测准确率低的问题。

技术实现要素：

本发明针对现有螺栓检测方法存在的在线检测困难、检测准确率低等上述问题，提供了一种轨道车辆螺栓松动检测方法及系统，能够实时在线检测螺栓是否松动，检测效率高，采用深度网络结构的自学习检测算法，能够有效提高检测的准确率。

为了达到上述目的，本发明提供了一种轨道车辆螺栓松动检测方法，其步骤为：

s1、获取图像

在不同光照条件下获取螺栓处的多张轨道车辆关键部件图像；

s2、图像处理

剪裁图像

将每张图像剪裁至设定大小；

标注图像

对每张图像进行人工标注，得到标注图像及标注文件；

s3、建立并训练关键部件定位网络

以卷积神经网络zfnet为输入端，全连接层为输出端，依照顺序依次连接卷积神经网络zfnet、区域建议网络、roipooling层和全连接层，建立关键部件定位网络，将标注图像划分为训练集和验证集，将训练集输入至关键部件定位网络进行学习，并通过验证集进行验证，得到训练后的关键部件定位网络；

s4、设置剪裁层

根据关键部件定位网络输出的轨道车辆关键部件图像信息，通过剪裁层将包含关键部件的矩形区域从原轨道车辆关键部件图像中剪裁出来，得到关键部件矩形区域图像；

s5、建立并训练螺栓松动检测网络

以残差网络为输入端，全连接层为输出端，将相互连接的区域建议网络和roipooling层插接至残差网络中，区域建议网络与残差网络最后第二层卷积层连接，roipooling层与残差网络最后第一层卷积层连接，残差网络最后一层卷积层与全连接层连接，建立训练螺栓松动检测网络，将关键部件矩形区域图像划分为训练集和验证集，将训练集输入至螺栓松动检测网络进行学习，并通过验证集进行验真得到训练后的螺栓松动检测网络；

s6、图像测试

实时获取螺栓处的轨道车辆关键部件图像作为测试图像，将测试图像输入至训练后的关键部件定位网络，根据关键部件定位网络的输出信息，通过剪裁层剪裁包含关键部件的矩形区域得到关键部件矩形区域图像并将其输入至训练后的螺栓松动检测网络，根据螺栓松动检测网络的输出结果判断螺栓是否松动。

进一步的，步骤s2中，剪裁图像之前，通过图像增强的方法对获取的图像进行处理。

进一步的，步骤s4中，通过剪裁层将包含关键部件的矩形区域从原轨道车辆关键部件图像中剪裁出来之前，对该关键部件是否完整进行确认，其具体步骤为：

定义等效边长比d，等效边长比d表示为：

式中，h为输入图像的高，w为输入图像的宽，(xmin,ymin)为关键部件定位网络输出矩形区域的左上顶点坐标，(xmax,ymax)为关键部件定位网络输出矩形区域的右下顶点坐标；

定义决定是否剪裁的阈值为d，当d＞d时，该关键部件不完整，将关键部件不完整的图片剔除，当d≤d时，该关键部件完整，得到关键部件完整的图片用于通过剪裁层剪裁获得关键部件矩形区域图像。

优选的，步骤s2中，采用labelimg标注工具对每张图像进行人工标注，标注出每张图像的每个关键部件的最小外接矩形框坐标并生成对应的xml标注文件。

优选的，步骤s3中，将标注图像按照4:1、或3:1、或5:1的数量比例划分为训练集和验证集，在进行验证时，按照设定间隔时间调用一次验证集进行验证，在关键部位定位网络出现过拟和之前且训练集loss曲线已经收敛之际停止训练，得到训练后的关键部位定位网络。

优选的，步骤s3中，标注图像经卷积神经网络后得到特征图，特征图被送入区域建议网络，经过区域建议网络内的全卷积网路和非线性层relu运算之后，特征图上每一个3×3的区域会被变为一个512维的特征向量，该特征向量送入区域建议网络内的全连接层进行候选框的分类以及候选框位置的回归，根据候选框的位置信息，在卷积神经网络处理后得到的特征图上通过roipooling层进行roipooling，roipooling层输出的结果进入关键部件定位网络内的全连接层进行最优候选框的分类以及最优候选框位置的回归，关键部件定位网络最终输出的轨道车辆关键部件图像包含一个或多个完整关键部件的矩形框的左上顶点坐标和右下顶点坐标、关键部件名称以及置信度。

优选的，步骤s3中，卷积神经网络由一组或多组卷积单元串联连接组成。

优选的，每组卷积单元均由一个卷积层conv或若干个卷积层conv串联连接形成的卷积层单元和由一个非线性层relu或若干个非线性层relu串联连接形成的非线性层单元组成，卷积层单元最后一层卷积层conv与非线性层单元的第一层非线性层relu连接；第一组卷积单元的非线性层单元与第二组的卷积层单元连接，第三组卷积单元的卷积层单元与第二组的非线性层单元连接，以此类推，最后一组卷积单元的卷积层单元与最后第二组的非线性层单元连接。

优选的，每组卷积单元均由一个卷积层conv或若干个卷积层conv串联连接形成的卷积层单元、由一个非线性层relu或若干个非线性层relu串联连接形成的非线性层单元以及由一个最大池化层maxpooling或若干个最大池化层maxpooling串联连接形成的池化层单元组成，卷积层单元最后一层卷积层conv与非线性层单元的第一层非线性层relu连接，非线性层单元的最后一层非线性层relu与池化层单元的第一层最大池化层maxpooling连接；第一组卷积单元的池化层单元与第二组的卷积层单元连接，第三组卷积单元的卷积层单元与第二组的池化层单元连接，以此类推，最后一组卷积单元的卷积层单元与最后第二组的池化层单元连接。

优选的，步骤s4中，建立螺栓松动检测网络时，采用labelimg标注工具对每张关键部件矩形区域图像进行人工标注，标注出每张关键部件矩形区域图像中的每个螺栓的最小外接矩形框坐标并生成对应的xml标注文件。

优选的，步骤s4中，将标注好的关键部件矩形区域图像按照4:1、或3:1、或5:1的数量比例划分为训练集和验证集，在进行验证时，按照设定间隔时间调用一次验证集进行验证，在螺栓松动检测网络出现过拟和之前且训练集loss曲线已经收敛之际停止训练，得到训练后的螺栓松动检测网络。

优选的，步骤s4中，残差网络的最后第二层卷积层的输出为区域建议网络和roipooling层共享的部分，roipooling层输出特征图的大小维度符合原残差网络中最后一层卷积层的输入，残差网络最后一层卷积层接平均池化层averagepooling，得到2048维特征，进入螺栓松动检测网络内的全连接层进行候选框的分类以及候选框位置的回归，螺栓松动检测网络最终输出包含松动螺栓的矩形框位置、置信度以及标志螺栓状态的标签；所述标志螺栓状态包括正常和松动两种状态。

优选的，所述残差网络采用18层、34层、50层、101层、152层残差网络。

为了达到上述目的，本发明提供了一种轨道车辆螺栓松动检测系统，包括：

多光谱分时光源，用于产生不同波段的光；

图像获取装置，用于获取不同光照条件下的轨道车辆关键部件图像和获取实时轨道车辆关键部件图像；

图像处理模块，用于将轨道车辆关键部件图像剪裁至设定大小，并对剪裁后的轨道车辆关键部件图像进行标注，得到对应的标注图像；

关键部件定位网络搭建与训练模块，用于搭建关键部件定位网络，并将标注图像分为训练集和验证集，将训练集输入至搭建的关键部件定位网络进行学习，并通过验证集进行验证，得到训练后的关键部件定位网络；

剪裁层设置模块，用于设置剪裁层，根据关键部件定位网络的输出信息，通过剪裁层将包含关键部件的矩形区域从原轨道车辆关键部件图像中剪裁出来，得到关键部件矩形区域图像；

螺栓松动检测网络搭建与训练模块，用于搭建螺栓松动检测网络，并将关键部件矩形区域图像分为训练集和验证集，将训练集输入至搭建的关键部件矩形区域图像网络进行学习，并通过验证集进行验证，得到训练后的螺栓松动检测网络；

存储与测试模块，用于存储训练后的关键部件定位网络和螺栓松动检测网络以及剪裁层，并通过关键部件定位网络、剪裁层和螺栓松动检测网络对实时获取的图像进行螺栓松动测试，并输出测试结果。

优选的，所述多光谱分时光源由多组led点光源组成。

优选的，led点光源采用红、绿、蓝三种颜色，通过红、绿、蓝三种颜色的led点光源，提供红、绿、蓝三色光，或调出除红、绿、蓝三色光外的其他颜色光。

优选的，所述led点光源采用红、绿、蓝以及白色四种颜色，其中，通过红、绿、蓝以及白色四种颜色的led点光源，提供全色光，或红、绿、蓝三色光，或调出除红、绿、蓝三色光外的其他颜色光。

与现有技术相比，本发明的优点和积极效果在于：

(1)本发明检测方法在不同光照条件下获取图像，能够提取图像在不同光照条件下的特征信息，适用于轨道车辆检测背景复杂、检测目标众多的工程情况。

(2)本发明检测方法不依赖于检修人员的工作经验和责任心，大大节约了时间成本和人力投入，采用关键部件定位网络+螺栓松动检测网络级联式网络框架，开创性的将螺栓松动检测问题转化为两次目标识别问题，且采用对上述两个网络进行自学习训练，能够很好的从数据中学习到有效的特征表达，不但能够有效地定位轨道车辆图像中的关键部件，还能够对关键部件进行螺栓状态监测，给出松动螺栓的具体位置信息，检测速度快，能够实现实时在线检测，不仅提高检测效率，还提高能够提高检测的准确率。

(3)本发明检测方法设置剪裁层，将关键部件从原图中剪裁出来送入螺栓松动网络，相较于非级联式结构(即整张图像上直接检测螺栓)，本发明通过剪裁层剪裁的关键部件矩形区域图像中，螺栓所占像素面积大，螺栓区域信息全面，定位螺栓时精准，因此检测精度高。相对的，在整张图像上直接检测螺栓来说，由于螺栓所占像素面积太小，在卷积结构中的池化层会进一步的把螺栓缩小，螺栓区域损失了很多信息，导致在整张图上定位螺栓就不够精准，检测精度相对较低。

(4)本发明检测方法不依赖于图像模板，对于轨道车辆过车方向不一、因车速不均匀关键部件发生一定角度倾斜的工程背景，本发明方法仍能适用。

(5)本发明检测方法关键部件定位网络使用深度学习训练的方法能够在定位关键部位时拥有足够的鲁棒性以保证螺栓松动检测网络对螺栓松动检测的检出率。

(6)本发明检测系统采用多光谱分时光源提供不同波段的光进行照明，获取不同波段光照条件下的图像，能够获得不同光照条件下的特征信息，适用于轨道车辆待测目标众多且目标所处背景复杂的工程情况。

(7)本发明检测系统采用关键部件定位网络+螺栓松动检测网络级联式网络框架，开创性的将螺栓松动检测问题转化为两次目标识别问题，检测速度快，能够实现实时在线检测，检测效率高，且采用深度网络结构的自动学习训练，能够很好的从数据中学习到有效的特征表达，提高检测的准确率。

附图说明

图1为本发明实施例轨道车辆螺栓松动检测方法的流程图；

图2a为本发明实施例获取的关键部件为轴箱盖的关键部件图像；

图2b为本发明实施例获取的关键部件为高度调节阀的关键部件图像；

图2c为本发明实施例获取的关键部件为转向架构架的关键部件图像；

图3为本发明实施例关键部件定位网络的结构图；

图4为本发明实施例螺栓松动检测网络的结构图；

图5为本发明实施例关键部件定位网络与螺栓松动检测网络级联的结构图；

图6为本发明实施例关键部件定位结果示意图；

图7为本发明实施例螺栓松动检测结果示意图；

图8a-d为螺栓正常即螺栓松动示意图；

图9a-e为采用旋转、模糊、对比度归一化、错切、平移的图像增强方法处理后的图像示意图；

图10为本发明一实施例卷积神经网络结构图；

图11为本发明实施例所述神经网络的结构图；

图12a-12b为buildingblock图；

图13为本发明实施例多光谱分时光源的结构示意图。

具体实施方式

下面，通过示例性的实施方式对本发明进行具体描述。然而应当理解，在没有进一步叙述的情况下，一个实施方式中的元件、结构和特征也可以有益地结合到其他实施方式中。

参见图1，本发明一实施例提供了一种轨道车辆螺栓松动检测方法，其步骤为：

s1、获取图像

在不同光照条件下获取螺栓处的多张轨道车辆关键部件图像。参见图2a-2c，获取的图像包括轴箱盖(参见图2a)、高度调节阀(参见图2b)、转向架构架(参见图2c)等多处含有螺栓的轨道车辆关键部件图像。

s2、图像处理

s21、剪裁图像

将每张图像剪裁至设定大小。

s22、标注图像

对每张图像进行人工标注，得到标注图像及标注文件。具体地，采用labelimg标注工具对每张图像进行人工标注，标注出每张图像的每个关键部件的最小外接矩形框坐标并生成对应的xml标注文件，也就是voc2007数据集格式。

s3、建立并训练关键部件定位网络

以卷积神经网络(简称：zfnet为输入端，全连接层为输出端，依照顺序依次连接卷积神经网络、区域建议网络(英文：regionproposalnetwork，简称：rpn)、roipooling层和全连接层，建立关键部件定位网络，将标注图像划分为训练集和验证集，将训练集输入至关键部件定位网络进行学习，并通过验证集进行验证，得到训练后的关键部件定位网络。

具体地，训练关键部件定位网络时，将标注图像按照4:1的数量比例划分为训练集和验证集，在进行验证时，按照设定间隔时间调用一次验证集进行验证，在关键部位定位网络出现过拟和之前且训练集loss曲线已经收敛之际停止训练，得到训练后的关键部位定位网络。

具体地，参见图3、图5，关键部件定位网络对标注图像中关键部件进行定位的过程为：标注图像经卷积神经网络后得到特征图，特征图被送入区域建议网络，经过区域建议网络内的全卷积网路和非线性层relu运算之后，特征图上每一个3×3的区域会被变为一个512维的特征向量，该特征向量送入区域建议网络内的全连接层进行候选框的分类以及候选框位置的回归。根据候选框的位置信息，在卷积神经网络处理后得到的特征图上通过roipooling层进行roipooling，roipooling层输出的结果进入关键部件定位网络内的全连接层进行最优候选框的分类以及最优候选框位置的回归。关键部件定位网络最终输出的轨道车辆关键部件图像包含一个或多个完整关键部件的矩形框的左上顶点坐标和右下顶点坐标、关键部件名称以及置信度(参见图6)。

s4、设置剪裁层

根据关键部件定位网络输出的轨道车辆关键部件图像信息，通过剪裁层将包含关键部件的矩形区域从原轨道车辆关键部件图像中剪裁出来，得到关键部件矩形区域图像。

s5、建立并训练螺栓松动检测网络

以残差网络(简称：restnet)为输入端，全连接层为输出端，将顺序连接的区域建议网络和roipooling层插接至残差网络中，区域建议网络与残差网络最后第二层卷积层连接，roipooling层与残差网络最后第一层卷积层连接，残差网络最后一层卷积层与全连接层连接，建立训练螺栓松动检测网络。将关键部件矩形区域图像划分为训练集和验证集，将训练集输入至螺栓松动检测网络进行学习，并通过验证集进行验真得到训练后的螺栓松动检测网络。

具体地，建立螺栓松动检测网络时，采用labelimg标注工具对每张关键部件矩形区域图像进行人工标注，标注出每张关键部件矩形区域图像中的每个螺栓的最小外接矩形框坐标并生成对应的xml标注文件，也就是voc2007数据集格式。

具体地，与关键部件定位网络训练过程相同，训练螺栓松动检测网络时，将标注好的关键部件矩形区域图像按照4:1的数量比例划分为训练集和验证集，在进行验证时，按照设定间隔时间调用一次验证集进行验证，在螺栓松动检测网络出现过拟和之前且训练集loss曲线已经收敛之际停止训练，得到训练后的螺栓松动检测网络。

具体地，参见图4、图5，螺栓松动检测网络对标注好的关键部件矩形区域图像中螺栓松动进行检测的过程为：残差网络的最后第二层卷积层的输出为区域建议网络和roipooling层共享的部分，roipooling层输出特征图的大小维度符合原残差网络中最后一层卷积层的输入，残差网络最后一层卷积层接平均池化层averagepooling，得到2048维特征，进入螺栓松动检测网络内的全连接层进行候选框的分类以及候选框位置的回归，螺栓松动检测网络最终输出的图像包含松动螺栓的矩形框位置、置信度以及标志螺栓状态的标签(参见图7)；所述标志螺栓状态包括正常和松动两种状态。

s6、图像测试

实时获取螺栓处的轨道车辆关键部件图像作为测试图像，将测试图像输入至训练后的关键部件定位网络，根据关键部件定位网络的输出信息，通过剪裁层剪裁包含关键部件的矩形区域得到关键部件矩形区域图像并将其输入至训练后的螺栓松动检测网络，根据螺栓松动检测网络的输出结果判断螺栓是否松动。

目前，螺栓松动检测依赖于防松标识。当拍摄视角固定时，可以在螺栓上标记水平防松标识，当防松标识相对水平位置发生15度以上错位时，定义为螺栓松动。以转向架构架为例，当防松标识分别标记在螺栓和转向架构架上，当两段防松标识不在同一条直线上时，认为发生螺栓松动。正常螺栓如图8a、8c所示，松动螺栓如图8b、8d所示。上述检测方法在进行图像测试时，根据螺栓松动检测网络的输出的松动螺栓的矩形框位置、置信度以及标志螺栓状态的标签确定螺栓松动的位置、螺栓为松动螺栓还是正常螺栓。

在上述检测方法的一优选实方式中，考虑到实际工程背景下的过车方向，为了增加样本量，在步骤s2中，剪裁图像之前，通过图像增强的方法对获取的图像进行处理。具体的，作为优选，采用随机水平翻转的图像增强方法对获取的图像进行处理，从而增加图像的数量。本发明上述检测方法不限于采用随机水平翻转的图像增强方法对获取的图像进行处理，还可以采用旋转(参见图9a)、模糊(参见图9b)、对比度归一化(参见图9c)、错切(参见图9d)、平移(参见图9e)等图像增强方法进行处理。

在上述检测方法的一优选实施方式中，由于剪裁层剪裁出来的关键部件矩形区域图像送入螺栓松动检测网络进行螺栓状态(正常或松动)检测。为了便于存储和读取，轨道车辆一般以固定大小的小图形式存储，但存在个别关键部件不能在一张小图上完整呈现，这些关键部件由于不够完整不具备检测条件，需要将其剔除，不送入螺栓松动检测网络进行螺栓状态(正常或松动)检测。为了确认关键部件是否完整，在步骤s4中，通过剪裁层将包含关键部件的矩形区域从原轨道车辆关键部件图像中剪裁出来之前，对该关键部件是否完整进行确认，其具体步骤为：

定义等效边长比d，等效边长比d表示为：

式中，h为输入图像的高，w为输入图像的宽，(xmin,ymin)为关键部件定位网络输出矩形区域的左上顶点坐标，(xmax,ymax)为关键部件定位网络输出矩形区域的右下顶点坐标；

定义决定是否剪裁的阈值为d，当d＞d时，该关键部件不完整，将关键部件不完整的图片剔除，当d≤d时，该关键部件完整，得到关键部件完整的图片用于通过剪裁层剪裁获得关键部件矩形区域图像。

本实施例上述检测方法的步骤s3中，步骤s3中，卷积神经网络由一组或多组卷积单元串联连接组成。在一中实施方式中，每组卷积单元均包括由一个卷积层conv或若干个卷积层conv串联连接形成的卷积层单元和由一个非线性层relu或若干个非线性层relu串联连接形成的非线性层单元，卷积层单元最后一层卷积层conv与非线性层单元的第一层非线性层relu连接；第一组卷积单元的非线性层单元与第二组的卷积层单元连接，第三组卷积单元的卷积层单元与第二组的非线性层单元连接，以此类推，最后一组卷积单元的卷积层单元与最后第二组的非线性层单元连接。在另一种实施方式中，每组卷积单元均包括由一个卷积层conv或若干个卷积层conv串联连接形成的卷积层单元、由一个非线性层relu或若干个非线性层relu串联连接形成的非线性层单元以及由一个最大池化层maxpooling或若干个最大池化层maxpooling串联连接形成的池化层单元，卷积层单元最后一层卷积层conv与非线性层单元的第一层非线性层relu连接，非线性层单元的最后一层非线性层relu与池化层单元的第一层最大池化层maxpooling连接；第一组卷积单元的池化层单元与第二组的卷积层单元连接，第三组卷积单元的卷积层单元与第二组的池化层单元连接，以此类推，最后一组卷积单元的卷积层单元与最后第二组的池化层单元连接。

具体地，卷积单元的数量可以是一组，或两组、四组、六组、八组等多组。具体数量可根据样本图像的数据量而定。同样地每组卷积单元至少包括卷积层单元和非线性层单元，可以设有池化层单元，也可以没有池化层单元，具体根据实际情况而定。进一步的，卷积层单元中卷积层的层数、非线性层单元中非线性层的层数以及池化层单元单元中最大池化层的层数，可以是一层，也可以是若干层，具体根据实际情况而定。

作为本实施例的一优选实施方式，参见图10，卷积神经网络zfnet由5组卷积单元串联连接组成。每组卷积单元均由若干个卷积层conv串联连接形成的卷积层单元、由若干个非线性层relu串联连接形成的非线性层单元以及由若干个最大池化层maxpooling串联连接形成的池化层单元，表示为：

式中，zfnet表示为卷积神经网络，conv表示卷积层，relu表示非线性层，maxpooling表示最大池化层，表示全连接层，softmax表示分类器。

作为本实施例的一优选实施方式，所述残差网络采用18层、34层、50层、101层、152层残差网络，上述五种残差网络的网络结果参见图11。其中，涉及两种buildingblock，参见图12a、12b。这两种结构分别针对resnet18/34(图12a)和resnet50/101/152(图12b)，一般称整个结构为一个“buildingblock”。其中图12b又称为“bottleneckdesign”，其目的是为了降低参数的数目，第一个1*1的卷积把256维channel降到64维，然后在最后通过1*1卷积恢复，整体上用的参数数目：1*1*256*64+3*3*64*64+1*1*64*256＝69632。如果不使用bottleneck的话，就是两个3*3*256的卷积，参数数目:3*3*256*256*2＝1179648，差了16.94倍。对于常规resnet，可以用于34层或者更少的网络中，对于bottleneckdesign的resnet通常用于更深的如101这样的网络中，目的是减少计算和参数量。

在本实施方式中，螺栓松动检测网络优选采用101层残差网络。具体地，首先，输入7*7*64的卷积，然后经过3+4+23+3＝33个buildingblock，每个block为3层，所以有33x3＝99层，最后有个fc层(用于分类)，所以1+99+1＝101层，确实有101层网络。值得注意的是，101层残差网络仅仅指卷积或者全连接层，而非线性层和池化层并没有计算在内。

本发明另一实施例提供了一种轨道车辆螺栓松动检测方法，与上述实施例所述检测方法不同的是，本实施例中，训练关键部件定位网络时，将标注图像按照3:1的数量比例划分为训练集和验证集，在进行验证时，按照设定间隔时间调用一次验证集进行验证，在关键部位定位网络出现过拟和之前且训练集loss曲线已经收敛之际停止训练，得到训练后的关键部位定位网络。如果获取的标准图像数据集足够大的话，理论上验证集越大，验证结果越精准。鉴于此，本实施例中，关键部件定位网络验证的结果更精确，相较于上述实施例检测方法，本实施中关键部件定位网络的定位更为准确。

本实施例所述检测方法，训练螺栓松动检测网络时，将标注好的关键部件矩形区域图像按照3:1的数量比例划分为训练集和验证集，在进行验证时，按照设定间隔时间调用一次验证集进行验证，在螺栓松动检测网络出现过拟和之前且训练集loss曲线已经收敛之际停止训练，得到训练后的螺栓松动检测网络。螺栓松动检测网络验证的结果更精确，相较于上述实施例检测方法，本实施中螺栓松动检测网络对螺栓松动的检测更为准确。

本发明又一实施例提供了一种轨道车辆螺栓松动检测方法，与上述实施例所述检测方法不同的是，本实施例中，训练关键部件定位网络时，将标注图像按照5:1的数量比例划分为训练集和验证集，在进行验证时，按照设定间隔时间调用一次验证集进行验证，在关键部位定位网络出现过拟和之前且训练集loss曲线已经收敛之际停止训练，得到训练后的关键部位定位网络。如果获取的标准图像数据集足够大的话，理论上验证集越大，验证结果越精准。鉴于此，本实施例中，螺栓松动检测网络验证的结果的精确性相对较差，相较于上述两个实施例检测方法，本实施中螺栓松动检测网络对螺栓松动检测的准确性相对较差，但与现有技术相比，定位更为准确。

本实施例所述检测方法，训练螺栓松动检测网络时，将标注好的关键部件矩形区域图像按照5:1的数量比例划分为训练集和验证集，在进行验证时，按照设定间隔时间调用一次验证集进行验证，在螺栓松动检测网络出现过拟和之前且训练集loss曲线已经收敛之际停止训练，得到训练后的螺栓松动检测网络。螺栓松动检测网络验证的结果更精确，相较于上述两个实施例检测方法，本实施中关键部件定位网络的定位准确性相对较差，但与现有技术相比，螺栓松动检测更为准确。

本发明上述实施例所述检测方法，不依赖于检修人员的工作经验和责任心，大大节约了时间成本和人力投入；采用关键部件定位网络+螺栓松动检测网络级联式网络框架，开创性的将螺栓松动检测问题转化为两次目标识别问题，检测速度快，能够实现实时在线检测，检测效率高，且采用深度网络结构的自动学习训练，能够很好的从数据中学习到有效的特征表达，提高检测的准确率。

本发明一实施例，提供了一种轨道车辆螺栓松动检测系统，包括：

多光谱分时光源，用于产生不同波段的光；

图像获取装置，用于获取轨道车辆关键部件图像；

图像处理模块，用于将轨道车辆关键部件图像剪裁至设定大小，并对剪裁后的轨道车辆关键部件图像进行标注，得到对应的标注图像；

关键部件定位网络搭建与训练模块，用于搭建关键部件定位网络，并将标注图像分为训练集和验证集，将训练集输入至搭建的关键部件定位网络进行学习，并通过验证集进行验证，得到训练后的关键部件定位网络；

剪裁层设置模块，用于设置剪裁层，根据关键部件定位网络的输出信息，通过剪裁层将包含关键部件的矩形区域从原轨道车辆关键部件图像中剪裁出来，得到关键部件矩形区域图像；

螺栓松动检测网络搭建与训练模块，用于搭建螺栓松动检测网络，并将关键部件矩形区域图像分为训练集和验证集，将训练集输入至搭建的关键部件矩形区域图像网络进行学习，并通过验证集进行验证，得到训练后的螺栓松动检测网络。

存储与测试模块，用于存储训练后的关键部件定位网络和螺栓松动检测网络以及剪裁层，并通过关键部件定位网络、剪裁层和螺栓松动检测网络对实时获取的图像进行螺栓松动测试，并输出测试结果。

上述检测系统中，所述多光谱分时光源由多组led点光源组成。在一种优选实施方式中led点光源采用红、绿、蓝三种颜色，通过红、绿、蓝三种颜色的led点光源，提供红、绿、蓝三色光，或调出除红、绿、蓝三色光外的其他颜色光。在另一种优选实施方式中，所述led点光源采用红、绿、蓝以及白色四种颜色，其中，通过红、绿、蓝以及白色四种颜色的led点光源，提供全色光，或红、绿、蓝三色光，或调出除红、绿、蓝三色光外的其他颜色光。例如，参见图13，多光谱分时光源包括分别位于边缘圆周上且对称设置的红色点源1、绿色点光源2、蓝色点光源3以及白色点光源阵列(包括一个或多个灯珠)4以及位于中间的大功率白色点光源5，用于获取轨道车辆关键部件图像的相机6设于大功率白色点光源外侧，且对称布置，相机的数量包括但不限于双目相机或多目相机。

本发明上述检测系统，检测螺栓松动时，采用多光谱分时光源提供不同波段的光进行照明，获取不同波段光照条件下的图像，能够获得不同光照条件下的特征信息，适用于轨道车辆待测目标众多且目标所处背景复杂的工程情况。同时采用关键部件定位网络+螺栓松动检测网络级联式网络框架，开创性的将螺栓松动检测问题转化为两次目标识别问题，检测速度快，能够实现实时在线检测，检测效率高，且采用深度网络结构的自动学习训练，能够很好的从数据中学习到有效的特征表达，提高检测的准确率。

上述实施例用来解释本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明做出的任何修改和改变，都落入本发明的保护范围。