一种基于多光谱信息融合的无人机目标检测方法及系统

本发明涉及目标检测领域，具体为一种基于多光谱信息融合的无人机目标检测方法及系统。

背景技术：

1、随着无人机技术的飞速发展，无人机带来的安全隐患也日益凸显。为了空中安全，无人机检测系统成为了一项重要的技术工具。目前国内外学者在无人机检测及反制技术领域已经开展了大量研究，其中主要探测方法包含了光学图像、雷达、频谱、音频信息及多传感器融合等，各种探测方法实现效果各有不同。其中光学图像的检测方案拍摄场景的光学图像，基于检测算法对目标进行检测定位，具有低成本、检测精度高等优点是目前重要的反无监测手段。

2、近些年随着深度学习技术的火热发展，目标检测算法也从基于手工特征的传统算法转向了基于深度神经网络的检测技术，利用卷积神经网络可以自动学习图像的特征，目标检测的准确率和鲁棒性显著提升。根据检测思想的不同可以将目标检测算法分为两阶段目标检测算法和单阶段目标检测算法。其中，两阶段目标检测算法又叫做基于区域建议的目标检测算法，其通过显式的区域建议将检测问题转化为对生成的建议区域内局部图片的分类问题。代表性的两阶段目标检测算法有r-cnn、mask r-cnn、fpn等。单阶段目标检测算法又叫做基于回归的目标检测算法。这类算法不直接生成感兴趣区域而将目标检测任务看作是对整幅图像的回归任务。代表性算法有yolo、ssd、retinanet系列等。

3、多光谱探测是一种被动式探测手段，能够反映光线在不同波长的响应，如同发现不同物质的光学“基因”，揭示探测目标的本质物理属性，能够突破复杂环境、光照变化以及伪装材料的干扰，有效提升目标探测的准确性。在无人机检测任务中，由于无人机作业环境复杂(例如：植被、水体、天空、低光照等)、无人机小目标在图像上面积占比小，传统基于可见光传感器的目标检测方法检测精度低。基于多光谱探测的方法兼具成像和光谱探测的优点，有利于复杂背景中无人机目标的识别检测，但目前对于多光谱图像在目标检测场景尤其面向无人机检测的研究还相对较少，尚未形成基于多光谱深目标检测的深度学习网络架构。

技术实现思路

1、针对复杂场景下的无人机目标隐蔽性强、检测难度大的问题，本发明提供了一种基于多光谱信息融合的无人机目标检测方法，以期改善现有技术。

2、本发明提供的技术方案如下：

3、一种基于多光谱信息融合的无人机目标检测方法，其特征在于，包括以下步骤：

4、s1、采集多光谱图像构建数据集

5、获取多光谱相机采集的包含无人机目标的多光谱图像，对采集的多光谱图像进行通道配准和目标标注，构建用于训练和测试无人机目标检测网络模型的数据集；

6、s2、搭建基于多光谱信息融合的无人机目标检测网络模型

7、所述无人机目标检测网络模型为采用双流网络结构的卷积神经网络模型，对输入的多光谱图像的原始通道图像和光谱指数融合图像分别进行特征提取后，进行特征融合处理；

8、s3、训练基于多光谱信息融合的无人机目标检测网络模型

9、使用步骤s1构建的数据集对步骤s2搭建的无人机目标检测网络模型进行训练，获得训练好的无人机目标检测网络模型；

10、s4、实施基于多光谱信息融合的无人机目标检测

11、对多光谱相机采集的待检测的多光谱图像进行通道配准，并计算光谱指数融合图像，将配准后的多光谱图像的原始通道图像和计算得到的光谱指数融合图像输入步骤s3训练好的无人机目标检测网络模型中，得到模型输出的目标信息。

12、在上述方案的基础上，进一步改进或优选的方案还包括：

13、进一步的，所述多光谱相机采集的多光谱图像包含蓝色、绿色、红色和近红外光谱波段。

14、进一步的，步骤s2搭建的无人机目标检测网络模型对输入的图像数据进行处理的过程包括：

15、s21、特征提取阶段：采用独立且相同的两个特征提取骨干网络分别对原始通道图像和光谱指数融合图像进行特征提取；

16、s22、特征融合阶段：基于特征融合模块对两个特征提取骨干网络提取的特征进行融合，并提取融合特征，输出融合特征图；

17、s23、目标检测阶段：针对步骤s22输出的融合特征图实施目标检测，输出检测到的目标信息。

18、进一步的，所述光谱指数融合图像的生成方法包括以下步骤：

19、1)针对配准后的多光谱图像，计算各像素点的归一化植被指数和归一化水体指数，得到归一化植被指数图和归一化水体指数图，其计算公式为：

20、

21、

22、其中，nir、red、green分别表示像素点的近红外光谱波段、红色光谱波段、绿色光谱波段的反射率；所述的归一化植被指数图是指用ndvi值表示像素值的图像，归一化水体指数图是指用ndwi值表示像素值的图像；

23、2)针对步骤1)获得的归一化植被指数图设置分割阈值d，获得归一化植被指数图中像素值不小于分割阈值的像素点，实现对植被区域的提取，以生成掩码图，其表达式为：

24、

25、其中，pndvi表示任意像素点p在归一化植被指数图中的像素值，imask表示像素点p在掩码图上的像素值；上式表示，若像素点p在归一化植被指数图中的像素值不小于预设的分割阈值，就将像素点p在掩码图中的像素值imask设置为1，否则设置为0；

26、3)利用步骤2)获得的掩码图生成光谱指数融合图像，操作方法为：

27、针对掩码图中像素值为1的像素点，填充该像素点在归一化植被指数图中的像素值，针对掩码图中像素值为0的像素点，填充该像素点在归一化水体指数图中的像素值，表达公式为：

28、ifusion＝indvi*imask+indwi*(1-imask)

29、其中，ifusion表示光谱指数融合图像中某个像素点的像素值，indvi、indwi、imask分别为归一化为植被指数图、归一化水体指数图、掩码图上对应同一像素点位置的像素值，*为相乘符号。

30、进一步的，所述步骤2)中，针对步骤1)获得的归一化植被指数图设置的分割阈值d，其取值范围为d≥0。

31、进一步的，步骤s3训练模型的过程中，使用损失函数衡量输出与数据标签之间的距离，更新网络模型权重以减低损失函数值，最终保存损失函数值最小的网络模型权重。

32、一种用于实施如上所述的基于多光谱信息融合的无人机目标检测方法的检测系统，其特征在于，包括：

33、数据集构建模块，用于存储多光谱相机采集的包含无人机目标的多光谱图像，并对采集的多光谱图像进行通道配准和目标标注，得到由带有标签的样本图像构成的数据集；

34、无人机目标检测网络模型搭建模块，用于搭建识别无人机目标的卷积神经网络模型；

35、无人机目标检测网络模型训练模块，用于使用数据集对所述卷积神经网络模型进行训练，输出训练好的无人机目标检测网络模型；

36、目标预测模块，用于使用训练好的无人机目标检测网络模型对待处理的多光谱图像进行检测，并输出检测到的目标信息。

37、进一步的，所述卷积神经网络模型包括骨干部分、颈部连接层和检测头；

38、所述骨干部分由两个并列的特征提取骨干网络组成，其中，第一特征提取骨干网络的输入为多光谱图像的原始通道图像，第二特征提取骨干网络的输入为光谱指数融合图像；

39、所述颈部连接层基于特征融合模块对两个特征提取骨干网络提取的特征进行融合，并对融合后的特征图做进一步的特征提取；

40、所述检测头用于对所述融合特征图进行目标检测，并输出检测到的目标信息。

41、一种计算机系统，包括处理器及存储器,其特征在于：

42、所述存储器用于存储计算机程序和指令；

43、所述处理器按指令运行所述计算机程序时实现如上所述的基于多光谱信息融合的无人机目标检测方法。

44、一种计算机可读存储介质，其上存储有计算机程序，其特征在于：

45、所述计算机程序被处理器执行时实现如上所述的基于多光谱信息融合的无人机目标检测方法。

46、本发明的有益效果是：

47、本发明方法和系统基于多光谱图像实施，对检测任务中背景环境及无人机目标的光谱特征进行了分析设计，提出了一种多光谱信息融合的无人机目标检测网络模型，该网络模型框架中双特征提取骨干网络的设计，可在当前大多数单阶段目标检测算法网络模型的基础上通过改造获得，具有一定的普适性，本发明中的双特征提取骨干网络以多光谱图像的光谱通道图像和光谱指数融合图像为输入，经过实验验证，在这两项的输入特征融合后，本发明方法对无人机目标检测的性能相较于现有的检测方法有明显提升。本发明针对复杂场景下的无人机目标隐蔽性强、检测难度大的问题，实现了高精度的无人机目标检测。