一种红外与可见光特征融合的弱小目标检测方法及装置与流程

本发明涉及红外与可见光图像检测，尤其涉及一种红外与可见光特征融合的弱小目标检测方法及装置。

背景技术：

1、红外与可见光图像特征融合指的是将红外光与可见光两种模态图像通过基于深度学习的网络进行特征提取后，将相同浅层级或深层级的特征通过融合模块加以融合，利用特征之间的互补性，融合特征之间的优点，获得更多的位置信息和语义信息与进而提高模型定位与识别小目标的准确性。

2、红外弱小目标检测与分类是指在拍摄得到的红外图像中，有效的区别背景区域（如树木、海浪、建筑、天空等）与弱小目标区域（如无人机等），并对目标区域进行标注和完成对弱小目标的分类。

3、而传统红外弱小目标检测算法主要通过抑制背景、增强目标来实现检测过程，当红外图像背景较复杂或目标信噪比较低时，这些算法容易产生较多虚警，检测精确率低。而许多基于深度学习的方法通常直接使用通用的目标检测或语义分割网络的检测效果并不理想。

技术实现思路

1、本发明采用的技术方案是，如何解决复杂背景下红外弱小目标检测所存在的因红外弱小目标特征不显著等因素导致的检测精度欠佳问题；有鉴于此，本发明提供了一种红外与可见光特征融合的弱小目标检测方法及装置。

2、本发明技术方案，一种红外与可见光特征融合的弱小目标检测方法，包括：

3、步骤s1，分别对红外图像以及可见光图像进行预处理，所述红外图像以及所述可见光图像中包括至少一检测目标；

4、步骤s2，利用配置的双流主干网络，分别提取所述红外图像以及所述可见光图像的图像特征并进行特征融合，以得到多尺度图像特征；

5、步骤s3，基于所述多尺度图像特征，利用配置的定位分类模型，获取所述检测目标的位置信息与分类结果。

6、在一个实施方式中，所述步骤s1包括：

7、获取所述红外图像以及所述可见光图像；

8、基于配置的非锐化掩蔽的边缘和细节增强算法，将所述红外图像和低通滤波后的模糊图像进行差分运算，获得表征所述红外图像边缘和细节的高频分量，与配置的增益系数相乘后再叠加原始图像，以此获得目标边缘和细节增强的红外图像；

9、利用直方图均衡化对所述可见光图像进行滤波，对滤波后的可见光图像进行图像增强，增加样本数量，再基于配置的双线性差值算法来对当前可见光图像进行缩放。

10、在一个实施方式中，所述步骤s2包括：

11、利用配置的resnet网络，对所述红外图像以及所述可见光图像进行特征提取，提取的特征包括浅层特征以及高层特征；

12、利用配置的空间信息引导模块，增强图像对应的目标区域的空间信息，并引导两种图像的浅层特征加以融合；

13、采用se模块或坐标注意力模块中的至少一种增强高层特征的语义信息，采用不同种扩张率的膨胀卷积捕获两种模态高层特征的多尺度上下文信息，并与增强后的高层特征相拼接，以获得两模态增强后的高层特征；

14、将当前浅层特征以及所述高层特征进行融合，以得到多尺度图像特征。

15、在一个实施方式中，所述步骤s3包括：

16、获取所述高层图像特征；

17、利用配置的定位分类模型，获取所述检测目标的位置信息与分类结果，其中，所述定位分类模型是基于rpn和头部结构的两部分内容确定的。

18、本发明的另一方面还提供了一种红外与可见光特征融合的弱小目标检测装置，包括：

19、预处理单元，被配置为分别对红外图像以及可见光图像进行预处理，所述红外图像以及所述可见光图像中包括至少一检测目标；

20、融合单元，被配置为利用配置的双流主干网络，分别提取所述红外图像以及所述可见光图像的图像特征并进行特征融合，以得到多尺度图像特征；

21、检测单元，被配置为基于所述多尺度图像特征，利用配置定位分类模型，获取所述检测目标的位置信息与分类结果。

22、在一个实施方式中，所述预处理单元被进一步配置为：

23、获取所述红外图像以及所述可见光图像；

24、基于配置的非锐化掩蔽的边缘和细节增强算法，将所述红外图像和低通滤波后的模糊图像进行差分运算，获得表征所述红外图像边缘和细节的高频分量，与配置的增益系数相乘后再叠加原始图像，以此获得目标边缘和细节增强的红外图像；

25、利用直方图均衡化对所述可见光图像进行滤波，对滤波后的可见光图像进行图像增强，增加样本数量，再基于配置的双线性差值算法来对当前可见光图像进行缩放。

26、在一个实施方式中，所述融合单元被进一步配置为：

27、利用配置的resnet网络，对所述红外图像以及所述可见光图像进行特征提取，提取的特征包括浅层特征以及高层特征；

28、利用配置的空间信息引导模块，增强图像对应的目标区域的空间信息，并引导两种图像的浅层特征加以融合；

29、采用se模块或坐标注意力模块中的至少一种增强高层特征的语义信息，采用不同种扩张率的膨胀卷积捕获两种模态高层特征的多尺度上下文信息，并与增强后的高层特征相拼接，以获得两模态增强后的高层特征；

30、将当前浅层特征以及所述高层特征进行融合，以得到多尺度图像特征。

31、在一个实施方式中，所述检测单元被进一步配置为：

32、获取所述高层图像特征；

33、利用配置的定位分类模型，获取所述检测目标的位置信息与分类结果，其中，所述定位分类模型是基于rpn和头部结构的两部分内容确定的。

34、本发明的另一方面还提供了一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的红外与可见光特征融合的弱小目标检测方法的步骤。

35、本发明的另一方面还提供了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的红外与可见光特征融合的弱小目标检测方法的步骤。

36、采用上述技术方案，本发明至少具备以下优点：

37、本发明实施例提出的方法，通过双流主干网络模型对红外光与可见光两种模态数据实现特征提取，并通过跨模态的多层级间特征融合实现两种模态特征的互补，使用基于深度学习的网络实现对弱小目标的定位与分类，助力弱小目标检测精度的提升。

技术特征：

1.一种红外与可见光特征融合的弱小目标检测方法，其特征在于，包括：

2.根据权利要求1所述的红外与可见光特征融合的弱小目标检测方法，其特征在于，所述步骤s1包括：

3.根据权利要求2所述的红外与可见光特征融合的弱小目标检测方法，其特征在于，所述步骤s2包括：

4.根据权利要求3所述的红外与可见光特征融合的弱小目标检测方法，其特征在于，所述步骤s3包括：

5.一种红外与可见光特征融合的弱小目标检测装置，其特征在于，包括：

6.根据权利要求5所述的红外与可见光特征融合的弱小目标检测装置，其特征在于，所述预处理单元被进一步配置为：

7.根据权利要求5所述的红外与可见光特征融合的弱小目标检测装置，其特征在于，所述融合单元被进一步配置为：

8.根据权利要求5所述的红外与可见光特征融合的弱小目标检测装置，其特征在于，所述检测单元被进一步配置为：

9.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述红外与可见光特征融合的弱小目标检测方法的步骤。

10.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述红外与可见光特征融合的弱小目标检测方法的步骤。

技术总结
本发明提出了一种红外与可见光特征融合的弱小目标检测方法及装置，方法包括：分别对红外图像以及可见光图像进行预处理，红外图像以及可见光图像中包括至少一检测目标；利用配置的双流主干网络，分别提取红外图像以及可见光图像的图像特征并进行特征融合，以得到多尺度图像特征；基于多尺度图像特征，利用配置的定位分类模型，获取检测目标的位置信息与分类结果。本实施例提供的方法，通过双流主干网络模型对红外光与可见光两种模态数据实现特征提取，并通过跨模态的多层级间特征融合实现两种模态特征的互补，使用基于深度学习的网络实现对弱小目标的定位与分类，助力弱小目标检测精度的提升。

技术研发人员：李宏菲,臧义华,杨晓梅,李奕洁,杨馨雨,马兴民,李雪扬,陈莉莉,凡叔军
受保护的技术使用者：中国电子科技集团公司第十五研究所
技术研发日：
技术公布日：2024/1/15