一种基于分散注意力挖掘网络的红外小目标识别方法

本发明属于红外小目标检测领域，特别是一种基于分散注意力挖掘网络的红外小目标识别方法。

背景技术：

1、红外图像是指通过红外传感器捕捉到的热能辐射图像，与可见光图像不同，红外图像能够提供目标的热能信息，适用于在低光、复杂背景或恶劣气候条件下进行目标检测。红外小目标检测在多个领域具有广泛的应用：在军事侦察中，红外小目标检测可以用于探测和追踪敌方战车、飞机、人员等目标，提供情报支持；在安防领域，红外小目标检测可以用于监控系统，帮助检测和识别潜在的入侵者或异常行为；在航空领域，红外小目标检测可以用于飞机、导弹等目标的探测和防御；可以应用于环境监测中，例如火灾监测，通过红外图像中的热能信息，可以及早发现火灾热点，并采取相应的措施进行灭火和救援。与普通物体不同，小物体获取的红外图像通常来自很远的距离，物体的大小通常小于30×30像素。这不可避免地发生在救援和安全任务中，例如人员或船只的远程海上救援任务、黑色飞行无人机或空中漂浮物。这些物体不仅体积小，而且经常淹没在复杂的背景中，缺乏颜色和纹理信息，这使得检测具有挑战性。

2、早期常见的单帧红外小目标检测方法是基于模型的方法。它可以概括为基于滤波器的方法、基于人类视觉系统的方法和基于低秩的方法。其中，基于滤波器的方法仅适用于单一和均匀的场景。基于人类视觉系统的方法只完全适用于物体亮度相对较大且与周围背景存在更明显差异的情况。基于低秩的方法，包括局部低秩和非局部低秩，虽然适用于几乎所有类型的复杂和快速变化的背景，但在实践中，它需要gpu等进行加速，以满足实时需求。模型驱动的方法容易受到杂波和噪声的影响，降低了检测模型的鲁棒性。在复杂背景下，它通常无法找到可接受的模板或学习对象的局部对比度信息，或者对象建模受到模型超参数的严重影响，导致泛化性能较差。

3、近年来，基于数据驱动的机器学习方法的激增，尤其是深度学习方法，使其迅速成为检测小型红外物体最广泛使用的方法。dai等人在论文《asymmetric contextualmodulation for infrared small target detection》构建了一个自下而上的注意力机制模块，并将其嵌入u-net或fpn网络结构中，将红外小物体检测建模为一个复杂的分割问题；在文献《dense nested attention network for infrared small target detection》中，li等人提出了拒绝嵌套交互模块(dnim)，以使用u-net分割网络很好地集成上下文特征。然而，上述工作中的网络都是预先训练的基于具有典型下采样方案的各种分类主干网络，例如用于不对称上下文模块和注意局部对比网络的resnet-20，以及用于dnim的resnet-18/34。这些分类主干是由imagenet数据生成的，这些数据对于特定的数据分布和频谱是有限的。此外，网络中的多次下采样降低了特征分辨率和局部对比信息的损失，这对红外小物体尤其不利。

技术实现思路

1、本发明要解决的技术问题是针对上述现有技术的不足，而提供一种基于分散注意力挖掘网络的红外小目标识别方法，通过将残差分割网络集成到深度监督网络中有效地生成深度多尺度和高分辨率特征，随着网络的深入，还可以改进对象的全局上下文表示，并在红外小目标检测网络模型中引入特征增强模块和分散注意力消除模块以进一步突出地方层面的上下文表示，实现了全面精准探测小目标位置，提高了红外小目标的检测性能。

2、为解决上述技术问题，本发明采用的技术方案是：

3、一种基于分散注意力挖掘网络的红外小目标识别方法，包括以下步骤：

4、s1、构建红外小目标检测网络模型；

5、s2、将红外小目标的图像数据集划分为训练集和测试集；

6、s3、将训练集图像输入至红外小目标检测网络模型的主干网络提取含有红外小目标图像的多尺度特征fi,i∈{1,2,3,4,5}；

7、s4、将主干网络的特征提取层stage1、stage2、stage3、stage4输出的特征f1,f2,f3,f4分别输入进红外小目标检测网络模型的特征增强模块fem中；

8、s5、将特征增强模块fem输出的特征f′ci,i∈{1,2,3,4}分别输入到的红外小目标检测网络模型的分散注意力消除模块dmm中；

9、s6、通过s5逐步细化分割得到最终的预测图，并通过红外小目标的二值标签图对其进行深度监督；

10、s7、将测试集图像输入训练完成的红外小目标检测网络模型，获取最终的红外小目标检测结果。

11、作为本发明的进一步优选，s2中所述的红外小目标检测网络模型的主干网络为residual u-blocks模块。

12、作为本发明的进一步优选，s4中的stage1、stage2、stage3、stage4使用的分别是rsu-7、rsu-6、rsu-5、rsu-4，rsu后面的数字表示了residual u-blocks模块中的卷积层数量，rsu为residual u-blocks模块的缩写。

13、作为本发明的进一步优选，s4中在深度网络层的residual u-blocks之后，将h＝[h1,h2,…,hn]定义为编码器的高级特征；其中hn是第n个通道特征，表示第n个高级语义特征，n是通道总数，rw×h中，r表示训练集中所有的图像，h和w分别表示单通道图像的高度和宽度；对于这些特征，采用自适应平均池化操作来遍历特性：

14、

15、其中en表示自适应平均池化操作遍历后的特征，n代表第n个通道，faap(·)表示自适应平均池化操作，h、w是高级特征的尺寸大小；hn(i,j)是第n个信道中的每个位置的特征。

16、作为本发明的进一步优选，s4中平均池化操作后，通过激励操作来重塑高级特征；

17、

18、其中gs表示激励操作后得到的特征，fse(·)表示激励操作，e表示待激励操作的特征，其中δ(·)和分别表示线性整流函数和批量归一化操作，σ是通道权重向量，z表示特征通道的特征图，w1和w2代表和的激励操作，其中c表示c层维度，表示层维度，r为参数；

19、最后，跨通道特征是具有低级特征的特征加权和：

20、

21、其中fc表示跨通道特征，其中表示逐元素乘法，hl表示编码器中的低级特征，f(x)是中间特征图。

22、作为本发明的进一步优选，对fc进一步执行激励操作然后使用平均池化和最大池化操作聚合；

23、

24、其中g′s表示平均池化和最大池化操作后得到的特征，其中c3×3表示卷积运算，pavg表示平均池化操作，pmax表示最大池化操作，代表1×1卷积后的fc；

25、特征增强模块fem输出的交叉跨空间注意力特征是：

26、

27、其中f′c表示交叉跨空间注意力特征，表示逐元素乘法，uh表示编码器中的高级特征，f(x)是中间特征图。

28、作为本发明的进一步优选，所述s5还包括对深监督的分割结果输出进行上采样，并对其进行归一化；然后，使用该归一化映射及其反向版本乘以当前级别的特征fcl，以及高级特征经过卷积、批处理归一化、激活线性整流函数和上采样后的结果，分别生成前景注意特征ff和背景注意特征fb；先将前景注意特征ff和背景注意特征fb输入到红外小目标检测网络模型的单个-群组混合注意力模块sgmam中；再将前景注意特征ff和背景注意特征fb输入到红外小目标检测网络模型的两个平行的上下文特征推理块cfeb中，分别发现假阳性干扰ffpi和假阴性干扰ffni。

29、作为本发明的进一步优选，发现假阳性和假阴性干扰后，通过以下方式进行消除：

30、fup＝u(cbr(fh))

31、fr＝br(fup-ρffpi)

32、f′r＝br(fr+ηfup+θffni)

33、其中fh和fr分别表示输入的高级特征和输出的细化特征，fup表示高级特征上采样后得到的特征，f′r表示分散注意力消除模块输出的重构特征；br是批处理归一化和线性整流函数的组合，而cbr是卷积、批处理归一化和线性整流函数的组合；u是双线性上采样；ρ、η和θ是可学习的标度参数，初始化为1；使用逐元素减法运算来抑制假阳性干扰，并使用逐元素加法运算来增加假阴性干扰。

34、作为本发明的进一步优选，所述s6还包括对特征增强模块，施加二进制交叉熵损失和iou损失的输出，即对分散注意力消除模块，使用加权bce损失和加权iou损失即

35、作为本发明的进一步优选，整体损失函数为：

36、

37、其中表示在网络的第i级处的特征增强模块的预测的损失，表示在网络的第i级处的分散注意力消除模块的预测的损失。

38、本发明具有如下有益效果：

39、(1)本发明中不是预先训练的分类主干网络，而是将图像分割的卷积神经网络集成到深度监督网络中，以生成深度多尺度和高分辨率特征，较好解决了特征分辨率与网络深度之间的矛盾。

40、(2)为了进一步突出地方层面的上下文表示，使用特征增强模块，通过交叉编码低级细节和高级语义特征代替主干网络中的跳过层，来捕获基于像素的对象之间的长程依赖关系。当小目标对象在红外成像下与背景之间的区别很模糊时，在初始分割中就会出现假阳性和假阴性预测，通过分散注意力消除模块，设计为首先发现并去除这些错误预测，逐步细化分割结果，从而输出更准确的预测结果图。

41、(3)本专利将红外小目标检测建模为一个语义分割问题，提出的红外小目标检测模型更为简单明了，非常适合于小物体大小和有限数据大小的红外物体检测。本专利陈述的方法不但可以较为全面的找出待检测图像中的小目标，并且可以较为准确的防止误判，提高了有效性。