基于可见光-红外双模态的遥感小目标检测网络

本发明涉及遥感小目标检测，尤其涉及一种基于可见光-红外双模态的遥感小目标检测网络。

背景技术：

1、在现代科技迅猛发展的今天，遥感技术已经成为获取地表信息的重要手段之一。遥感图像因其能够提供大范围、高分辨率的地表视图而在多个领域显示出巨大潜力，包括智能交通、土地规划、环境监测和军事目标定位与识别等。这些图像通常包括卫星和航空图像，能够捕捉到地表的细微变化，对于监测和分析具有不可替代的作用。

2、遥感图像提供鸟瞰视角下的地表视图，包括卫星和航空图像。如图1所示，遥感图像中的大多数物体的尺度可能很小，仅凭外观很难识别，而且有效信息容易在网络前馈过程中丢失，导致不恰当的梯度更新，从而影响目标检测的精度。相反，想要识别这些物体,需要依赖于它们所处的环境，也就是它们的上下文信息，因为周围的环境可以提供关于它们的形状、方向和其它特征的有价值的线索。同时，也还面临着多尺度场景内尺度变化大、背景复杂等等问题。

3、现有的遥感目标检测技术主要面临以下几个挑战：

4、1.小尺度目标在网络前向传播过程中容易丢失关键信息，导致检测精度下降；

5、2.遥感图像背景复杂，如遥感目标的尺度、形状、姿态和方向各异，且在不同的光照、天气和季节条件下，图像特征会发生显著变化，而且，遥感图像可能来自不同的成像高度和视角，这会影响目标的形状和外观；

6、3.目标与背景之间的极度不平衡导致模型倾向于关注背景而非目标；

7、4.一些减少信息丢失的方法，如可逆架构或深度监督，可能会增加推理成本或误差累积；

8、5.多尺度特征融合可能会带来冗余信息，影响模型的性能。

9、为了解决上述问题，研究者们提出了多种方法，包括开发新的网络骨干或注意力模块、设计多尺度特征融合模块以及细节设计(如旋转框、损失函数设计、标签分配等)。尽管这些方法在一定程度上提高了检测性能，但仍存在局限性，需要进一步的研究和改进。

技术实现思路

1、为解决遥感场景中小尺度目标在前向传播中的信息损失的技术问题，本发明提供一种基于可见光-红外双模态的遥感小目标检测网络。本发明提出了多阶门控聚合逆残差模块(multi-order gated aggregation-inverted residual module，mir)，将整个模块的输出流形视为“manifolds of interest”，将低维信息通过解压的形式释放，并用轻量级深度卷积进行过滤，特征随后通过线性卷积投影回低维表示。mir包含informationaggregation block(ia block)和inverted residual block两部分，其中ia block包含门控分支和局部-全局语义信息聚合分支，其中门控分支基于silu机制，能够自适应的提取目标上下文语义信息；语义信息聚合分支使用了不同大小卷积核的depthwiseconv，分别提取低阶、中阶、高阶信息，能够有效的适应不同尺度大小的目标。为了能够有效的增强模型的表征能力，inverted residual block先对ia block的输出流形解耦，然后使用depthwiseconv整合高维特征，最后通过线性卷积投影回低维。在诸多场景下，由于多种模态能够实现信息互补，能够有效的解决遮挡，阴影，黑暗等场景下的遥感目标检测问题，本发明结合mir模块与单模态检测器yolov8s，设计了一个多阶段特征融合的检测架构dual-modality framework。

2、在本发明中设计了一种提升图像全局理解能力的方法，以有效应对遥感场景的复杂性、多样性。本发明基于梯度路径设计方案，利用vision-lstm(vil)的长短期记忆的优点，设计了一个gvil模块，结合pan-fpn结构，能够广泛的聚合上下文信息，增强模型的理解能力。此外，为解决遥感小目标检测中的目标与背景的不平衡问题，本发明采用了adaptivethreshold focal loss(atfl)替换传统的bce损失函数。同时，整合了归一化wasserstein距离和ciou，构建了一种新的iou损失函数。

3、为实现本发明的目的，本发明通过以下方案予以实施。

4、本发明提供的基于可见光-红外双模态的遥感小目标检测网络包括：

5、多阶门控聚合逆残差模块(multi-order gated aggregation-invertedresidual module，mir)，用于有效聚合语义信息，缓解小尺度目标在前向传播中的信息损失；

6、跨阶段多模态融合网络架构，用于整合可见光和红外两种模态的信息，实现可见光和红外模态间的信息互补，提高检测精度；

7、基于梯度路径的视觉长短期记忆网络模块，即gvil模块，用于增强模型的全局理解能力，解决遥感场景的复杂性和多样性问题；

8、自适应阈值焦点损失(atfl)与归一化wasserstein距离(nwd)ciou结合所构建的一种新的iou损失函数，用于解决目标与背景的不平衡、边界框回归对遥感小目标极其敏感的问题。

9、优选的，所述mir模块包括：

10、信息聚合块(ia block)，包含门控分支和局部-全局语义信息聚合分支，主要通过门控机制聚合局部感知与全局上下文的信息；

11、逆残差块(inverted residual block)，用于整合ia block输出流形中的有效信息，得到“manifolds of interest”。

12、优选的，整合ia block所聚合信息中的有效信息，得到“manifolds of interest”的操作是：

13、先对ia block的输出流形先进行expansion convolution操作，其中expansionratio的取值为4，该操作利用conv1×1进行维度扩展，再使用深度卷积(depthwiseconv)对整体特征进行细粒度的提取，再使用降维操作进行有效信息整合，最后得到manifolds ofinterest。

14、优选的，所述gvil模块包括：

15、视觉长短期记忆网络(vision lstm，vil)，用于对上下文进行建模；

16、梯度路径分析设计，用于增强vil的全局信息建模能力。

17、优选的，所述网络还包括afbr loss损失函数，其构建过程为：

18、使用归一化高斯距离(nwd)衡量边界框iou损失，并通过平衡因子α实现与yolov8默认的ciou达成平衡，形成新的nwd-ciou边界框回归损失函数，即为afbr loss损失函数。

19、优选的，所述yolov8损失函数包含两部分：分类损失和边界框回归损失。

20、与相关技术相比较，本发明提供的基于可见光-红外双模态的遥感小目标检测网络具有如下有益效果：

21、1.本发明基于博弈论多阶交互理论，结合“manifolds of interest”思想，提出了multi-order gated aggregation-inverted residual module(mir)，mir显著缓解了小尺度目标前向传播中的信息损失，极大提升了检测精度。

22、2.本发明采用yolov8s作为基础模型，并进一步设计了一种基于多阶段特征融合的双模态遥感目标检测架构dual-modality framework，有效整合多模态信息以显著提高检测性能。

23、3.利用梯度路径分析的优点，本发明设计了gvil模块以增强vil的全局信息建模能力，实验结果证实了该模块的有效性。

24、4.本发明引进了adaptive threshold focal loss和normalized wassersteindistance等方法，能够较大限度的提升模型的性能。