无砟轨道板扣件的特异性伤损图像合成方法及检测方法

本发明属于图像处理，具体涉及一种无砟轨道板扣件的特异性伤损图像合成方法及检测方法。

背景技术：

1、21世纪以来，铁路建设运营里程以指数形式不断增长，行业领域的重点也从建设运营慢慢转向养护维修，扣件作为铁路轨道的关键基础部件，如果长期处于异常状态将会导致轨道整体结构失效，严重影响高速铁路列车运行的安全，针对扣件的异常状态及时、快速和精准检测，是目前亟需解决的问题，也是养护维修的重要决策依据。高速铁路无砟轨道板扣件存在数量庞大、种类繁多、服役环境复杂等问题，使得在天窗时间段进行的人工巡道难以高效、准确地识别出处于异常状态的扣件，同时漏检、错检的情况也难以避免。

2、随着信息时代的到来，计算机数字技术也已经开始大范围应用于铁路领域的自动化养护运维，基于计算机视觉的扣件异常状态检测已逐渐代替人工目视，成为轨道巡检的主流选择。现有的基于计算机视觉的扣件异常状态检测方法主要包括传统的图像处理技术、机器学习技术和最新的深度学习技术。

3、图像处理技术方法基于铁路部件之间几何信息进行扣件定位，利用启发式规则来抓取扣件的图像特征，最后通过简单的分类算法对扣件状态进行识别，基于图像处理技术的方法过分依赖人工设计、仅能处理浅层的、低水平的图像特征，并对不同形式巡检数据的复杂图像适应性差；

4、机器学习技术方法通过学习有限的、可感知的特征来训练向量机、朴素贝叶斯、人工神经网络等分类器来识别出不同类型的异常轨道扣件，基于机器学习技术的方法同样依赖先验知识和工程经验，不可避免的继承了图像处理技术方法的主观性和不确定性；

5、基于计算机视觉进行扣件异常状态的检测，除了依赖计算机技术外，对于扣件状态图像集也有一定的要求。其可靠性和适应性高度依赖大规模的高质量图像集的充分训练，这加重了数据的采集成本，尤其对于本研究领域，其特异性负样本相对稀缺，与获取到的非负样本对比集成，得到的是极度不均的数据集，这严重阻碍了计算机视觉技术方案在本领域的应用；

6、综上所述，当前针对无砟轨道板扣件的图像数据涵盖信息不够充分，数据缺少多样性。同时现有的检测技术方案检测精度较低，消耗大量的人工、时间等。

技术实现思路

1、本发明的目的之一在于提供一种图像样本多样性提升、图像正负样本比例合适的无砟轨道板扣件的特异性伤损图像合成方法。

2、本发明的目的之二在于提供一种包括了所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法。

3、本发明提供的这种无砟轨道板扣件的特异性伤损图像合成方法，包括如下步骤：

4、s1.获取真实无砟轨道板扣件图像数据；

5、s2.构建无砟轨道板三维bim模型；

6、s3.针对步骤s2构建的三维bim模型进行仿真渲染处理，构建铁路场景的虚拟空间；

7、s4.通过步骤s3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据；

8、s5.构建循环对抗生成网络，针对步骤s1获取的真实无砟轨道板扣件图像数据和步骤s4输出的虚拟无砟轨道板扣件伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集。

9、步骤s1所述的获取真实无砟轨道板扣件图像数据，具体包括：

10、进行轨道结构状态巡检，通过轨道巡检小车获取真实的无砟轨道板扣件图像数据。

11、步骤s2所述的构建无砟轨道板三维bim模型，具体包括：

12、根据实际铁路场景施工阶段的三维设计图纸信息，构建无砟轨道板的正向三维bim模型：

13、(1)获取铁路场景三维正向设计图纸，并进行几何尺寸解析处理，解析各部件尺寸；所述部件包括带挡肩的轨道板、轨道和扣件系统，其中，扣件系统包括w1吊索、轨距挡板、轨下修整器、绝缘轨距块、绝缘套筒、螺旋钉、螺旋杆、平垫圈、铁垫块、铁下垫块和橡胶垫块；根据二维cad图纸中提供的每个部件的尺寸和位置信息，从下到上组装完整的轨道扣件系统；将扣件系统中不同种类构件以共享单元的形式参与构建形成铁路场景共享单元库；

14、(2)进行轨道部件建模拼装，参考对应的铁路构建组装图，并以铁路构件图为底图，按照共享单元库中不同部件对应名称进行查找，并通过旋转、平移调整位置，将扣件系统放置在肩部的一侧，通过阵列、镜像进行布局，在轨道板上形成扣件系统和轨道的对称布局，构建出完整的无砟轨道板虚拟三维bim模型；

15、(3)对构建的无砟轨道板虚拟三维bim模型进行属性添加和材质赋予，完善铁道场景特征。

16、步骤s3所述的针对步骤s2构建的三维bim模型进行仿真渲染处理，构建铁路场景的虚拟空间，具体包括：

17、将步骤s2构建的无砟轨道板3d模型导入到轻量化物理引擎中进行虚拟模拟：

18、1)将构建的铁路虚拟模型进行模型的格式转化和降点操作，得到datasmith数据传输格式的轻量化模型，导入到物理引擎的虚拟空间中进行仿真模拟；

19、2)使用unreal engine 5，ue5中的虚拟化几何体系统，通过nanite技术将无砟轨道板虚拟三维bim模型预处理为三角形簇，去掉冗余数据的同时标记光栅类别；

20、3)通过三角形光栅化和重建光通道实现轨道板可见性与材质的解耦，实现像素级的几何渲染；

21、4)利用全局光照和反射系统中的lumen技术模拟真实光照，实现铁路场景中的光线追踪，形成轨道板结构在虚拟空间中的漫反射效果，解决轨道板的全局漫反射问题；

22、5)基于采集到的真实的无砟轨道板图像构造不同细节属性的纹理贴图，使得虚拟的无砟轨道板模型更加逼真，在基础颜色上构造漫反射，使虚拟模型纹理的光照交互更加真实；通过凹凸贴图在不改变模型体顶点信息的同时展现无砟轨道板表面的粗糙程度；通过反射贴图赋予扣件系统、钢轨构件金属光泽；

23、6)采用ue5中的蓝图编辑器将实验室场景下捕获到的具有单调背景的真实的扣件状态实例化，通过得到的不同细节层次和图元参数的子类纹理构造不同材质域和网格域的扣件伤损，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；

24、上述步骤获取的纹理被随机地部署在虚拟无砟轨道板模型上，得到融合真实扣件状态特征和虚拟场景的数字孪生模型。

25、步骤s4所述的通过步骤s3构建的铁路场景虚拟空间，采集、输出虚拟无砟轨道板扣件伤损图像数据，具体包括：

26、基于真实巡检图像布局创建多视角相机运动路径，通过虚拟巡检实现虚拟铁路场景孪生空间中的虚拟扣件伤损图像数据采集并输出图像；在生成的数字孪生模型上，逐网格体对象内嵌阴影以模拟巡检遮挡，并通过布设相机控制点位校对虚拟摄像头的线路方向，输出模拟铁路巡检场景的虚拟巡检图像。

27、步骤s5所述的构建循环对抗生成网络，针对步骤s1获取的真实无砟轨道板扣件图像数据和步骤s4输出的虚拟无砟轨道板扣件伤损图像数据进行真实风格化迁移处理，实现图像数据合成，构建无砟轨道板扣件的特异性伤损图像合成数据集，具体包括：

28、采用基于循环生成对抗网络的合成数据集生成方式，对真实采集的巡检图像进行筛选，获取真实风格的正常图像；将轻量化物理引擎输出的虚拟图像和挑选出的风格图像输入到对抗网络中，生成无砟轨道板扣件的特异性伤损图像合成数据集；

29、循环对抗生成网络cycle gan由两个生成器和两个鉴别器组成，生成器负责图像风格间的转换，鉴别器负责对转换后的图像质量进行评价；

30、在基于虚拟巡检得到的无砟轨道板扣件的特异性伤损图像合成数据集中，采用了物理引擎对轮轨作用进行模拟，随机生成不同的扣件异常状态，扣件伤损异常状态类型包括扣件断裂、扣件位移和扣件缺失；使用上述方法生成的无砟轨道板扣件的特异性伤损图像合成数据集，能够满足模型训练时对于平衡正负样本比例的需求。

31、本发明还提供一种包括了所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法，包括如下步骤：

32、a1.采用所述的无砟轨道板扣件的特异性伤损图像合成方法，合成扣件伤损图像，并构建合成数据集；

33、a2.构建目标检测网络，采用步骤a1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络；

34、a3.采用步骤a2获取的训练后的目标检测网络，针对实际获取的无砟轨道板扣件图像进行异常状态检测处理，完成轨道板扣件的异常状态检测。

35、步骤a2所述的构建目标检测网络，采用步骤a1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络，具体包括：

36、目标检测网络采用faster r-cnn模型；faster r-cnn的损失函数包括rpn损失和fast-rcnn损失两部分，每部分由分类损失和回归损失累加而成，其中，分类损失用于区分背景和目标的交叉熵损失，回归损失用于计算边界框回归的平滑l1损失，采用下述公式进行描述：

37、

38、其中，l({pi},{ti})为faster r-cnn的总损失，为分类损失，为回归损失，pi为预测框中包含目标的概率，为标注框，如果锚点是正值，为1，如果锚点是负值，为0，ti为预测框的四个参数化坐标；为标注框四个参数化坐标。

39、步骤a2所述的构建目标检测网络，采用步骤a1所述的合成数据集，针对目标检测网络进行训练，获取训练后的目标检测网络，具体包括：

40、目标检测网络采用yolov3网络；yolov3的损失函数的计算过程采用下述公式描述：

41、

42、其中，loss为yolov3的总损失，(xi,yi)和分别为标注框和预测框的中心坐标值；(wi,hi)和分别为标注框和预测框的宽度高度值；(ci,pi)和分别为标注框和预测框的置信度和所属类别；λcoord为坐标因子；λnoobj为目标表征因子；λclass为类别因子；和表示是否存在目标对象，若预测框中存在目标，则输出为1，不存在则输出为0；s为预测框个数；b为标注框个数。

43、本发明提供的这种基于无砟轨道板扣件的特异性伤损图像数据合成方法，基于实际场景的轨道结构正向建模、基于轻量化物理引擎的异常扣件渲染部署，获取具有多样化状态特征的虚拟扣件负样本，对输出的虚拟巡检数据以不同扣件状态类型进行集成并基于真实巡检图像进行风格迁移，得到无砟轨道板扣件的特异性伤损图像合成数据集；同时本发明提供的一种包括了所述无砟轨道板扣件的特异性伤损图像合成方法的检测方法，依托合成方法获得合成数据集，针对深度目标检测网络进行训练，有效解决了高质量扣件正负样本不均导致的深度学习方案检测精度低等问题；而且在本发明方法合成的图像数据集中，样本的多样性提升、正负样本的均衡性提高。