一种伪装目标检测方法、装置、设备及存储介质与流程

本发明涉及目标检测，特别是涉及一种基于可见光和红外融合的伪装目标检测方法、装置、设备及存储介质。

背景技术：

1、在现代信息化战争中，对敌方信息的获取能力成为了决定一场战争胜负的关键因素。高精度的光电侦察技术能够有效提供敌方重要军事目标的相关信息，因而被广泛应用于战场环境侦察。在信息化战争中，被发现即意味着被摧毁，因此为了应对侦察技术，提高武器装备和人员的生存能力，通常会对武器装备和人员进行一定程度的伪装。

2、随着现代伪装技术的发展，常规侦察手段的效能逐渐降低。例如，随着伪装迷彩服的不断改进升级，针对不同作战环境，身着草地、雪地、沙漠等各式迷彩伪装服的目标，与周围环境的颜色纹理等特征高度融合，依靠人眼以及传统成像手段已经很难对伪装目标和背景进行区分。

3、近年来，基于深度学习的目标检测技术常被用于进行伪装目标检测，然而在草地、雪地、沙漠等各种战场环境下的伪装目标通常具有与环境高度融合的颜色、纹理等特征，现有的yolo系列、sinet、basnet等技术常在可见光图像中对伪装目标进行检测识别，所利用的目标信息单一，难以应对复杂场景下具有良好伪装的目标。同时，由于可见光图像易受光照、气候、烟雾等影响，无法充分获取目标和背景的差异信息，且无法全天候工作，这将进一步降低伪装目标检测效果。

4、当前的一些伪装目标检测技术采用复杂的高光谱成像系统，提高了检测精度，但所需处理的数据量巨大，难以实时进行动态场景的伪装目标检测。同时，进一步增加了伪装目标检测的成本和系统复杂度。

5、此外，现有伪装目标检测系统通常仅对目标在场景中的位置和类别进行标注，仍然缺乏目标和场景的颜色、纹理及细节信息等，可视化效果较差，难以通过人眼直接对目标的身份等信息进行识别，从而影响人工对战场态势进行决策判断。

6、现有技术中提供了一种基于改进scaled-yolov4的伪装人员目标检测方法，在scaled-yolov4模型中设计一个包括两个感受野区块和两个有效通道注意力模块的自上而下路径特征增强网络结构以代替原路径聚合网络，形成改进的scaled-yolov4模型，提升了伪装目标检测精度。然而，该技术通过改进scaled-yolov4网络结构，一定程度上提升伪装目标检测精度，但难以应对具有与周围环境高度融合的颜色、纹理等特征的伪装目标，且无法全天候工作。

7、现有技术中还提供了一种基于空-谱特征融合的高光谱伪装目标检测方法，将深度学习和空谱特征提取相结合，建立一种适用于光谱特征学习和目标空间定位的3d网络模型，将异常检测和空谱约束加入模型以提高检测精度。同时，提出一种基于空间感受域的假阳/阴性祛除训练方法进一步调整网络，提高网络训练效果。然而，该方法采用高光谱成像系统，能够提升伪装目标检测精度，但数据量巨大，系统复杂，成本较高，难以进行实时动态伪装目标检测。

8、可见，随着现代伪装技术的不断改进升级，在草地、雪地、沙漠等各种战场环境下的伪装目标通常具有与环境高度融合的颜色纹理等特征，仅依靠简单的浅层颜色纹理等信息难以区分目标和背景。因此，需要开发一种能够对目标和背景进行有效特征提取并具备良好特征区分能力的算法，从而实现对伪装目标的有效检测识别。

9、在复杂战场环境中，光照、气候、烟雾等都会影响对伪装目标的检测识别。为了充分利用伪装目标和背景的差异信息，提高对伪装目标的检测识别能力。同时，为了应对各种复杂的战场环境，实现全天候进行伪装目标检测。需要构建一套具备多源信息获取与处理，并全天候工作的伪装目标检测系统。

10、针对战场环境的复杂多变，需要持续对战场环境进行实时动态监测，从而及时准确地发现目标。因此，需要打造一种具备良好实时性和高精度的伪装目标检测系统。

11、伪装目标通常与背景高度融合，难以通过人眼进行直接观察识别，为了提升伪装目标和背景的可视化效果，方便人工对战场态势进行决策判断。因此，在进行伪装目标检测系统开发时，需要同时提升伪装目标和背景的可视化效果。

技术实现思路

1、鉴于上述问题，本发明提供用于克服上述问题或者至少部分地解决上述问题的一种伪装目标检测方法、装置、设备及存储介质。

2、本发明提供了如下方案：

3、一种伪装目标检测方法，包括：

4、确定待进行目标检测的可见光图像以及红外图像；

5、通过将所述可见光图像以及所述红外图像分别输入到目标检测网络进行多源图像目标检测，以得到可见光检测结果以及红外检测结果；

6、将所述可见光检测结果以及所述红外检测结果通过决策融合层进行加权融合，得到目标检测识别结果；

7、其中，所述目标检测网络包括改进的yolov5网络结构，所述改进的yolov5网络结构的主干网络包括nam注意力机制模块，所述改进的yolov5网络结构包括6×6大小的卷积层；所述改进的yolov5网络结构的颈部网络层包括多尺度特征路径聚合模块；所述改进的yolov5网络结构的输出层采用bce loss计算目标分类损失和置信度损失。

8、优选地：所述nam注意力机制模块设置于所述改进的yolov5网络结构的主干网络的跨阶段局部网络层中。

9、优选地：所述nam注意力机制模块包括通道注意力子模块以及空间注意力子模块；

10、所述通道注意力子模块采用批量归一化中的缩放因子来衡量通道的方差及其重要性；所述空间注意力子模块采用所述缩放因子对空间维度进行像素归一化。

11、优选地：所述多尺度特征路径聚合模块包括特征金字塔网络结构和路径聚合网络结构。

12、优选地：所述决策融合层中利用所述可见光图像以及所述红外图像的伪装目标检测精度进行自适应权重分配，以便为检测精度更高的图像分配更大权重，提高融合检测结果的可靠性。

13、优选地：分别对所述可见光图像以及所述红外图像进行目标检测精度检测，根据检测结果计算得到每张图像中目标的平均精确率apv,apt，v,t分别代表所述可见光图像和所述红外图像；

14、将所述可见光图像和所述红外图像检测结果的置信度分别乘以对应权重，表示公式如下：

15、

16、其中，confv,conft分别为修正前的所述可见光图像检测结果和所述红外图像检测结果置信度，cv,ct分别为修正后的所述可见光图像检测结果和所述红外图像检测结果置信度；

17、将完成置信度修正的所述可见光图像检测结果和所述红外图像检测结果进行合并，按照置信度大小进行排序，并执行非极大值抑制，去除同一目标的可见光图像和红外图像重复检测结果，保留置信度最高的检测框作为该目标最终的决策级融合检测结果。

18、优选地：利用所述自适应权重分配结果，对所述可见光图像以及所述红外图像进行加权融合显示，并在融合图像上绘制所述目标检测识别结果。

19、一种伪装目标检测装置，包括：

20、图像确定单元，用于确定待进行目标检测的可见光图像以及红外图像；

21、检测结果获取单元，用于通过将所述可见光图像以及所述红外图像分别输入到目标检测网络进行多源图像目标检测，以得到可见光检测结果以及红外检测结果；

22、检测结果融合单元，用于将所述可见光检测结果以及所述红外检测结果通过决策融合层进行加权融合，得到目标检测识别结果；

23、其中，所述目标检测网络包括改进的yolov5网络结构，所述改进的yolov5网络结构的主干网络包括nam注意力机制模块，所述改进的yolov5网络结构包括6×6大小的卷积层；所述改进的yolov5网络结构的颈部网络层包括多尺度特征路径聚合模块；所述改进的yolov5网络结构的输出层采用bce loss计算目标分类损失和置信度损失。

24、一种伪装目标检测设备，所述设备包括处理器以及存储器：

25、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

26、所述处理器用于根据所述程序代码中的指令执行上述的伪装目标检测方法。

27、一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述的伪装目标检测方法。

28、根据本发明提供的具体实施例，本发明公开了以下技术效果：

29、本技术实施例提供的一种伪装目标检测方法、装置、设备及存储介质，该方法通过可见光和红外相机同时获取目标和背景的颜色、纹理及温度等多维度差异信息，并通过在yolov5的主干网络中添加nam注意力机制，提升了网络对目标和背景的特征区分能力，实现有效伪装目标检测识别，且能够全天候工作。

30、同时，该方法提供的可见光和红外图像检测结果的决策级融合策略，无需进行大量额外的iou计算，实现了保留可见光和红外图像中置信度更高的检测结果，同时一定程度上剔除置信度较低的假目标。

31、另外，该方法利用可见光和红外图像检测精度进行自适应权重分配，为目标信息更明显的图像分配更大权重，实现了可见光和红外图像加权融合显示，提升了目标和背景的可视化效果，有利于人工对战场态势进行决策判断。

32、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。