一种可见光和红外双光图像的远距离弱小目标检测识别方法与流程

本发明属于飞机任务系统设计，涉及一种远距离弱小目标识别方法，具体涉及一种可见光和红外双光图像的远距离弱小目标检测识别方法。

背景技术：

1、目标在光学系统中成像的像素数量与二者之间相距的距离成反比关系，在光学系统内参固定不变的情况下,例如焦距、靶面尺寸等，距离越远的目标像素数量越少，使得远距离目标呈现“小”的状态；同时，由于目标反射的光信号在传播过程中会出现大气衰减，使得远距离目标呈现“弱”的状态。因此，远距离目标检测识别任务实质上就是弱小目标检测识别任务。

2、目前弱小目标检测识别方法主要是基于可见光或者红外的单光图像实现的，通过构建卷积神经网络例如yolo、faster-rcnn等，实现对弱小目标的检测识别。然而弱小目标通常缺乏形状、颜色、轮廓、纹理等特征，仅使用单光图像完成弱小目标检测任务易出现虚警、漏检等现象，鲁棒性差。

技术实现思路

1、为了解决上述问题，本发明提供了一种可见光和红外双光图像的远距离弱小目标检测识别方法，考虑到大多数复杂光学系统通常会同时配备可见光和红外传感器，与单光图像检测识别的方法相比，使用双光图像可以获取目标不同波段更丰富的特征信息，使目标区域相较于背景区域更具有可区分性，从而提升对弱小目标检测识别的整体精度。

2、本发明的技术方案如下：

3、一种可见光和红外双光图像的远距离弱小目标检测识别方法，包括以下步骤：

4、s1，采集若干组弱小目标的成对双光图像，并进行成对双光图像的配准；双光图像指可见光图像和红外图像；

5、s2，构建yolov5m网络，使用带标签的双光图像对yolov5m网络进行训练，得到初始yolov5m网络权重；

6、s3，使用所构建的yolov5m网络进行双光图像特征的提取；

7、s4，提取双光图像的特征后，对双光图像的特征进行融合。

8、进一步的，s1中，双光图像配准方法为：

9、配准过程中以可见光图像的像素位置为基准，通过sift特征点匹配的方式求取红外图像到可见光图像的单应性矩阵，其中单应性矩阵的计算方式如下：

10、

11、其中(x′,y′)和(x，y)为配对特征点中可见光特征点像素位置和红外特征点像素位置，hij为单应性矩阵中的元素：

12、对以上齐次方程进行转换，表示为：

13、(h31x+h32y+h33)x′＝h11x+h12y+h13

14、(h31x+h32y+h33)y′＝h21x+h22y+h23

15、通过带入4组特征点对求解单应性矩阵中的元素hij，最终得出红外图像像素位置到可见光图像像素位置的映射关系，实现双光图像的配准。

16、进一步的，s2中，yolov5m网络的训练过程中，增加语义对齐约束，语义对齐损失函数设计采用的是自监督学习的方法，输入为配准后的可见光图像和红外图像，通过最小化特征层之间的l2距离，实现网络对双光图像提取特征的语义对齐。

17、进一步的，yolov5m网络训练过程为：

18、tr＝f(θ,ir)

19、te＝f(θ,ie)

20、

21、f∈rh*w*c→rh*w*c

22、p∈rh*w*c→rn

23、

24、其中tr、te为红外特征和可见光特征，f(*)为yolov5m的backbone部分的推理计算函数，θ为yolov5m的backbone网络参数，ir、ie为红外图像和可见光图像，yr和ye为红外和可见光模型输出的检测结果，p(*)为yolov5m网络特征金字塔和检测头部分的推理计算函数，为yolov5m特征金字塔和检测头的网络参数，r为实数域，h、w、c为yolov5m网络输入层的宽度、高度和通道数，h、w、c为yolov5m网络检测头输出结果的宽度、高度和通道数；

25、n＝h′*w′*c′，h′、w′、c′代表yolov5m网络检测头输出结果的宽度、高度和通道数，argmin(*)为最小优化问题，ls是yolov5m原始的损失函数，yr和ye为红外和可见光模型输出的检测结果，λ为正则化因子，‖*‖2为二范数计算函数。

26、进一步的，s4中的特征融合采用的是通道拼接的方式，通过在yolov5m网络中引入concat层，实现双光图像深度特征的拼接融合；在特征进行融合之后，会将特征送入特征金字塔层进行计算，输出不同尺度的双光图像特征，最终通过yolov5m的head层回归得到目标类别信息以及位置信息。

27、进一步的，yolov5m网络在引入concat层之后，对yolov5m网络进行微调，微调时冻结concat层之前的网络层参数，设置较小的学习率对concat层之后的网络层参数进行微调。

28、进一步的，微调使用的输入数据来源于成对双光图像数据，即同一时间同一光学系统采集的配准后的可见光图像和红外图像，数据带有目标标注信息；微调过程为：

29、tr＝f(θ,ir)

30、te＝f(θ,ie)

31、

32、f∈rh*w*c→rh*w*c

33、p∈rh*w*c→rn

34、

35、其中tr、te为红外特征和可见光特征，f(*)为yolov5m的backbone部分的推理计算函数，θ为yolov5m的backbone网络参数，ir、ie为红外图像和可见光图像，yr和ye为红外和可见光模型输出的检测结果，p(*)为yolov5m网络特征金字塔和检测头部分的推理计算函数，为yolov5m特征金字塔和检测头的网络参数，r为实数域，h、w、c为yolov5m网络输入层的宽度、高度和通道数，h、w、c为yolov5m网络检测头输出结果的宽度、高度和通道数，n＝h′*w′*c′，h′、w′、c′代表yolov5m网络检测头输出结果的宽度、高度和通道数，argmin(*)为最小优化问题，ls是yolov5m原始的损失函数，yr和ye为红外和可见光模型输出的检测结果，λ为正则化因子，‖*‖2为二范数计算函数。

36、进一步的，将微调后的yolov5m网络模型部署于yolov5m网络模型边缘端。

37、本发明的有益效果如下：

38、1、基于双光图像的检测识别方法一方面利用了可见光图像丰富的颜色、纹理特征以及高分辨率的特性，另一方面利用了红外图像的热敏感和强穿透的特点，因此具有良好的鲁棒性。

39、2、本发明基于可见光红外双光图像对远距离弱小目标进行检测识别，通过双光图像配准、语义对齐训练等方式，使深度学习网络能够同时使用可见光、红外图像进行目标的推理识别。与基于单光图像的弱小目标检测识别方法相比，该方法通过双光特征互补的方式，克服了单光图像弱小目标特征缺失、单一等问题，可有效提升光学系统对远距离弱小目标的检测识别能力，降低虚警和漏检的情况。

40、3、该方法不仅可用于可见光-红外双光光学系统，还可以推广至可见光-微光、中波红外-长波红外等双光光学系统，具有良好的应用前景。