一种基于多尺度融合和可变形卷积的跨域故障检测方法

本发明涉及计算机视觉，具体涉及一种基于多尺度融合和可变形卷积的跨域故障检测方法。

背景技术：

1、目标检测是计算机视觉最具挑战性的任务之一。目标检测任务包含两个子任务，一是在图像或者视频中定位到目标物体的位置，二是将目标物体进行识别和标记。进入深度学习时代以来，基于cnn的深度网络模型依靠其强大的特征提取能力和泛化能力，让目标检测算法的效果相比原先的传统方法获得极大提升。

2、目前主流的目标检测模型，如faster-rcnn和yolo模型都是有监督学习模型，依赖大量有便签样本。然而在实际的火车故障图片检测过程中，由于相机拍摄、天气等原因，导致火车故障图片出现模糊、过于暗黑的情况，也会存在图片中含有雾气、冰雪等现象。这些客观原因会导致出现训练集和测试集之间出现域偏移问题，使得原有的目标检测模型无法有效识别出测试集这些图片中的故障。解决此类问题最直接的方法就是重新对测试集中出现域偏移的图片进行收集和标注。然而目前图片标注的方式仍然以人工标注为主，且收集和标注图片过程耗时费力。针对数据集重复标注耗费成本巨大的问题，可以使用迁移学习中的领域自适应方法来减少模型性能的下降。

3、目前领域自适应方法在目标检测领域的应用主要分为三类：基于对抗的领域自适应目标检测算法、基于重构的领域自适应目标检测算法和基于混合的领域自适应算法。基于对抗的领域自适应目标检测是在网络中加入领域判别器，通过让领域判别器混淆源域和目标域的域不变特征，达到减少域偏移的目的；基于重建的领域自适应目标检测是通过重建源域或者目标域数据，利用例如cyclegan生成数据，可以获得中间域数据，利用这些中间域数据进行训练能够提升训练结果；基于混合的方法则采用了上述两种方法的结合。而计算机视觉中的注意力机制的基本思想就是使模型可以忽略无关信息而关注重点信息。

技术实现思路

1、为解决雾天场景下火车故障检测准确率低的问题，本发明提供一种基于多尺度融合和可变形卷积的跨域故障检测方法。该方法针对火车故障训练集和测试集数据分布不同的问题，利用域自适应特征金字塔的方法来改善原有目标检测模型的跨域鲁棒性，并针对故障形态差异较大，使用可变形卷积来提高网络的适应能力。同时利用asff来解决原有retinanet中fpn网络不同尺度学习目标不一致的问题，利用ciou来帮助检测网络更好地优化损失。

2、为实现上述目的，本发明采用如下技术方案：

3、一种基于多尺度融合和可变形卷积的跨域故障检测方法，包括以下步骤：

4、构建源域数据集和目标域数据集；

5、构建基于retinanet的跨域故障检测网络，所述跨域故障检测网络包括域自适应特征金字塔、嵌入了可变形卷积的backbone、fpn网络和回归子网络；所述域自适应特征金字塔包括局部域自适应模块和全局域自适应模块，用于对backbone中提取出的多尺度信息进行融合操作；

6、利用所述源域数据集和目标域数据集训练所述跨域故障检测网络；

7、将待测数据输入训练好的跨域故障检测网络，输出故障类型。

8、优选的，所述backbone使用的是resnet-50，包括若干个卷积模组，其输出的部分特征向量输入到局部域自适应模块进行强对齐，其余部分特征先通过特征金字塔结构进行多尺度信息的特征融合，然后输入全局域自适应模块进行弱对齐。

9、优选的，所述局部域自适应模块的损失函数为：

10、

11、

12、

13、表示源域的局部域自适应损失，表示的是目标域的局部域自适应损失，表示的是整个局部域自适应模块的损失，取源域和目标域损失的平均值，分别表示输入的源域特征，f1表示的域自适应部分网络的特征提取器，dl表示域判别器，h、w表示输入特征图的高和宽，ns和nt分别表示输入的源域样本数量和目标域样本数量。

14、优选的，所述全局部域自适应模块的损失函数为：

15、

16、

17、

18、表示源域的全局域自适应损失，表示的是目标域的全局域自适应损失，表示的是第i个全局域自适应模块的损失，γ表示的是难易样本平衡因子，dg表示的是全局域自适应模块的域判别器，f表示的是全局域自适应部分网络的特征提取器。

19、优选的，嵌入可变形卷积的方式是backbone的卷积核中添加偏移量。

20、优选的，所述fpn网络中嵌入补充模块asff。

21、优选的，所述回归子网络使用ciou loss作为损失函数。

22、本发明还提供一种基于多尺度融合和可变形卷积的跨域故障检测系统，所述系统包括：

23、域自适应特征金字塔模块，用于网络进行多尺度域对抗训练完成源域和目标域间的特征对齐；

24、可变形卷积模块，用于加强网络对于复杂形变的故障检测能力；

25、asff模块，用于解决原先fpn网络跨尺度特征学习目标不一致的问题；

26、损失函数模块，用于解决原回归子网络中损失函数smooth l1 loss和iou不等价的问题。

27、本发明还提供一种基于权利要求上述跨域故障检测方法的雾天火车故障检测方法，包括如下步骤：

28、构建正常场景下的火车故障数据集作为源域数据集和雾天场景下的火车故障数据集作为目标域数据集；

29、构建基于retinanet的跨域故障检测网络；

30、利用所述源域数据集和目标域数据集训练所述基于retinanet的跨域故障检测网络；

31、将待测数据输入训练好的基于retinanet的跨域故障检测网络，输出雾天火车故障类型。

32、有益效果：本发明提出的一种基于多尺度融合和可变形卷积的跨域故障检测方法。通过将构建的域自适应特征金字塔加入到retinanet网络帮助网络进行多尺度域自适应对抗训练，以此来完成源域和目标之间的特征对齐。通过可变形卷积嵌入到retinanet的backbone，提升网络对于复杂形变的故障样本的适应能力。通过将asff加入到retinanet的fpn网络中，解决fpn网络不同尺度学习目标不一致的问题。使用ciou替换retinanet回归子网络中的smooth l1 loss，解决smooth l1 loss与模型实际评价指标iou不一致的问题。以上设计加强了跨域检测的鲁棒性，提高了雾天场景下火车故障识别率和准确率。

技术特征：

1.一种基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，所述backbone使用的是resnet-50，包括若干个卷积模组，其输出的部分特征向量输入到局部域自适应模块进行强对齐，其余部分特征先通过特征金字塔结构进行多尺度信息的特征融合，然后输入全局域自适应模块进行弱对齐。

3.根据权利要求2所述的基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，所述局部域自适应模块的损失函数为：

4.根据权利要求3所述的基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，所述全局部域自适应模块的损失函数为：

5.根据权利要求1所述的基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，嵌入可变形卷积的方式是backbone的卷积核中添加偏移量。

6.根据权利要求1所述的基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，所述fpn网络中嵌入补充模块asff。

7.根据权利要求1所述的基于多尺度融合和可变形卷积的跨域故障检测方法，其特征在于，所述回归子网络使用ciouloss作为损失函数。

8.基于权利要求1-7任一所述跨域故障检测方法的雾天火车故障检测方法，其特征在于，包括如下步骤：

技术总结
本发明提供一种基于多尺度融合和可变形卷积的跨域故障检测方法，解决火车故障图像跨域目标检测中相应的问题。包括如下步骤：准备正常场景下的火车故障数据集作为源域数据集和雾天场景下的火车故障数据集作为目标域数据集；设计一个域自适应特征金字塔，加入到RetinaNet目标检测网络中，来实现源域和目标域的特征对齐；在目标检测网络中的backbone加入可变形卷积模块来实现对形态差异大的故障的适应能力；在原有检测网络中的FPN加入ASFF模块，解决FPN网络中不同尺度学习目标不一致的问题；将RetinaNet网络的回归子网络损失函数改为CIOU loss，优化模型的损失。该基于多尺度融合和可变形卷积的跨域故障检测方法是解决目标检测模型在有雾场景下对火车故障检测结果较差的问题。

技术研发人员：俞菲,俞科栋,王潇祎,许诺,郑志刚,谢国烜,杨绿溪
受保护的技术使用者：东南大学
技术研发日：
技术公布日：2024/1/13