基于图像匹配和配准的列车底部零部件的松动检测方法与流程

本发明涉及图像处理，更具体地说，本发明涉及基于图像匹配和配准的列车底部零部件的松动检测方法。

背景技术：

1、列车车底检查是列车结束日间运营后回到停放库进行的一项例行作业，目的是检查列车状态，确保底部设备外观正常无松动、无损坏、无缺失，车底结构无异物，以保证次日的列车运营。

2、传统上，列车车底检查作业是由作业人员利用手电筒打光，通过人眼观察以及结合个人经验来进行的。由于列车任务编排，该检查只能在凌晨“天窗期”进行，因此作业人员面临带电、凌晨以及车底等安全风险隐患，也影响车辆段厂安全运营管理，因此当下越来越多的自动化检测设备成为代替人工巡检的一种选择。检测设备可以获取列车图像，并通过后台算法处理直接向检修作业人员汇报异常结果。

3、但是其在实际使用时，仍旧存在一些缺点，如进行列车车底项点的松动检测时，由于项点在任务图像中的呈现视角不同、防松线所在的平面不同以及项点密度太高导致项点小图中有很多其他项点的防松线等原因，一套固定的检测逻辑，例如防松线的角度差或者距离是否大于设定阈值，无法应对所有的任务图片，无法精确得到每个项点是否发生防松线的松动。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明的实施例提供基于图像匹配和配准的列车底部零部件的松动检测方法，通过以下方案，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：基于图像匹配和配准的列车底部零部件的松动检测方法，包括：

3、步骤s01：检测区域划分步骤：用于获取目标列车底部零部件的图片，通过按列车长度划分的方式将目标列车底部零部件划分为各检测子区域，并将各检测子区域依次标记为1、2……n。

4、步骤s02：图片采集步骤：包括项点标定单元、目标检测模型训练单元、语义分割模型训练单元以及模板图片制作单元，用于获取各检测子区域的模板大图、模板小图以及模板标签。

5、步骤s03：特征点集匹配步骤：将图片采集步骤得到的任务图片与模板大图进行特征点集匹配，得到第i个检测子区域的变换矩阵，通过变换矩阵实现模板图像和待检图像的变换对应，，其中表示第i个检测子区域的模板图像矩阵，表示第i个检测子区域的待检图像矩阵。

6、步骤s04：图像匹配步骤：包括目标检测单元、语义分割单元以及图像匹配单元，用于获取各检测子区域的任务小图、任务标签以及任务矩阵，通过任务小图和模板小图进行图像匹配得到变换矩阵，利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算。

7、步骤s05：图像配准步骤：将图像匹配步骤中的任务标签和对应模板标签进行图像配准得到变换矩阵，利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，并根据计算得出的交并比值和该类项点的设定阈值比较来确定任务小图中的项点有无松动迹象。

8、优选的，所述项点标定单元通过视觉传感器对各检测子区域进行图像采集，得到各检测子区域的2d模板大图，并对车底零部件类型以及项点位置进行标定，标定的零部件包括螺栓、线路管夹、管线接头、配合件、接地线端子、锁孔以及绝缘子；

9、所述目标检测模型训练单元利用项点标定单元的标定结果，进行旋转、缩放以及添加噪声的数据增强工作，并划分训练集、测试集和验证集，然后对目标检测网络进行yolov8网络训练，得到目标检测模型。

10、优选的，所述语义分割模型训练单元用于对所述目标检测模型得到的带有防松线的项点图进行标注，放入pp-liteseg轻量级语义分割网络中进行训练，得到语义分割模型；

11、所述模板图片制作单元通过2d模板大图，传入目标检测网络，得到以待检项点为单位的模板检测小图，再把模板检测小图传入语义分割网络，得到模板标签小图。

12、优选的，所述目标检测单元用于对任务2d图片进行目标检测，得到以项点为单位的任务小图，并给任务小图添加“是否包含防松线”的属性；

13、所述语义分割单元通过将包含防松线的任务小图传入语义分割网络，得到项点防松线的任务标签；

14、所述图像匹配单元用于对每一张任务小图，使用superglue和superpoint匹配网络，与对应的模板小图进行匹配，得到第i个检测子区域的变换矩阵。

15、优选的，所述图像匹配步骤利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，如果得到的交并比值大于第i个检测子区域项点的设定阈值，第i个检测子区域任务小图中的项点没有发生防松线的松动，如果小于设定的阈值，则进行图像配准步骤。

16、优选的，所述图像匹配步骤计算得到的交并比值大于第i个检测子区域项点的设定阈值时，第i个检测子区域任务小图中的项点没有发生防松线的松动，小于第i个检测子区域设定的阈值时，则将第i个检测子区域任务标签和对应模板标签进行图像配准，设定配准模式为平移，将得到的变换矩阵作为初始参数传入基于互相关系数的ecc图像配准方法中，得到新的变换矩阵，i表示第i个检测子区域。

17、优选的，所述图像配准步骤利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，如果得到的交并比值大于第i个检测子区域项点的设定阈值，第i个检测子区域任务小图中的项点没有发生防松线的松动，如果小于设定的阈值，则再次将第i个检测子区域任务标签和对应模板标签进行图像配准，设定配准模式为平移，不传入任何初始参数进行ecc图像配准，得到新的变换矩阵，i表示第i个检测子区域。

18、优选的，所述图像配准步骤利用变换矩阵对任务标签进行仿射变换，并与模板标签进行交并比计算，如果得到的交并比值大于第i个检测子区域项点的设定阈值，第i个检测子区域任务小图中的项点没有发生防松线的松动，如果小于设定的阈值，则第i个检测子区域项点的防松线发生了松动，并发出预警信号。

19、本发明的技术效果和优点：

20、1、本发明解决了由于项点在图像中的呈现视角不同导致的无法准确判断的问题，例如在图像中侧面呈现的螺栓，它的防松线往往是两条平行的线，无论发生多大的松动，角度方面都是平行的，因此使用角度判断的方法不可行，由于视角等原因，这种螺栓上的两条防松线间的欧式距离远小于正面螺栓上的两条防松线间的欧氏距离，因此使用距离判断的方法不可行，而对任务图片与历史模板进行匹配和配准再求标签的交并比之后，就可以得到一个低于阈值的值，即有充分的理由判断防松线发生了松动；

21、2、本发明解决了由于防松线所在的平面不同导致的无法准确判断的问题，采集的任务图像是2d平面图，不包含三维信息，而有些在图片中呈现尾部螺丝的螺栓，一部分防松线在螺丝上，另一部分防松线在旁边的车体上，这两条防松线在2d图像上天然呈现较大的角度偏差，传统判断方法无法把这种情况与确实发生了松动导致得到这个角度差的正面螺栓进行区分，从而无法正确判断，而使用图像的匹配和配准后得到一个较低的交并比值时，由于在车体上的防松线不会发生变化，所以可判断是螺栓上的防松线发生了松动；

22、3、本发明解决了由于项点密度太高导致项点小图中有很多其他项点的防松线导致的无法准确判断的问题，出现这种情况通常是由于车体的某一部分小螺栓太多，目标检测在检测出待检螺栓时，检测框内不可避免地带入了其他的螺栓或螺栓的防松线，这种情况下传统的角度和距离判断方法无法避开这些干扰的防松线，因此完全失效，而使用图像匹配和配准的方法时，通过先验知道可知，检测为螺栓的项点通常只有一根或者两根防松线，当标签图中的轮廓数量超过三时，图像中就混入了别的项点的防松线，通过调高阈值可以进行判断。