一种优化特征提取的遥感图像弱监督目标检测方法与流程

本发明涉及图像处理和计算机视觉领域，特别是涉及弱监督学习下的遥感图像目标检测方法。

背景技术：

1、目标检测(object detection)是计算机视觉和数字图像处理的一个热门方向，能够实现目标物体类别和位置的自动检测，减少人力、资本的消耗，具有重要的现实意义。与更为基础的图片分类任务相比，目标检测多出一个回归任务，即不仅要用算法判断图片中是否存在对象，还要在图片中标记出它的位置，对图像上标注的标定框进行回归预测。近年来，由于深度学习的广泛运用，目标检测算法得到了较为快速的发展。

2、然而通常的全监督目标检测模型是基于大量人工精确标注的数据集训练的，这些方法要求每一张训练的图像都有细粒度的高质量标注。在遥感图像中，往往一张图像中有多个物体实例，各自可能属于不同类别，这些都需要人工一一进行标注；有的实例更是由于本身物体较小、环境影响或图像失真导致肉眼难以辨认，更进一步地增加了数据集标注的难度和财力人力花费。因此，为了降低大规模遥感目标检测数据集标注带来的资源消耗，研究人员开始关注如何使用更加易于获取和标注的粗粒度标签在目标检测任务中取得好的表现。一个典型的粗粒度任务设置是数据集中的标签只具有图像级的类别信息，而缺少了实例级(instance-level)的定位信息，该设置能够利用已有的图像分类数据集直接开展研究工作，也可以迅速地在一个新的数据集上进行标注，大大减少标注周期、加快部署速度。现今，只有图像级(image lavel)标注的粗粒度数据集成为弱监督目标检测研究的一大热点。

3、然而由于遥感图像的背景噪声大、实例密集、小目标多、方向任意等特点，目前常规的弱监督目标检测方法往往难以取得理想的特征提取结果，其检测最终效果与全监督目标检测方法仍有较大差距。因此开展遥感图像弱监督目标检测方法的进一步研究，优化其特征提取具有重要的意义。

技术实现思路

1、本发明针对遥感图像弱监督目标检测特征提取效果较差的问题，设计了一种优化特征提取的遥感图像弱监督目标检测方法。

2、本发明的具体内容如下：

3、一种优化特征提取的遥感图像弱监督目标检测方法包括以下步骤：

4、第一步，获取遥感图像弱监督目标检测数据集，其中所有图像的标签为图像级标签；

5、第二步，用图像级标签训练图像多分类的模型，用于提供弱监督目标检测模型的预训练权重参数；

6、第三步，构建遥感图像特征精炼模块，集成到弱监督目标检测模型中；

7、第四步，使用s2步骤得到的预训练权重初始化弱监督目标检测模型的主干网络参数，并利用遥感图像特征精炼模块改进特征提取，进行弱监督目标检测网络训练；

8、在步骤二中，使用resnet网络进行图像多分类任务训练；训练相比通常的多分类任务训练需要提前停止，仅需训练2个轮次即可，以减轻过拟合，便于在接下来的弱监督目标检测任务中进一步精调；

9、在步骤三中，集成后的弱监督目标检测模型结构包括主干网络、遥感图像特征精炼模块、候选区域处理、检测器头；主干网络提取图像特征，生成特征图，将特征图送入遥感图像特征精炼模块优化特征提取，并在优化后的特征图上进行后续的处理和预测操作；其中主干网络采用与分类任务主干网络相同的结构如resnet，因此可以直接使用步骤二中预训练得到的主干网络参数；候选区域处理对预提取候选框的特征进行规范化，得到固定长度的特征向量；检测头将固定长度的特征向量分别送入分类预测和回归预测两个分支，输出最终预测的实例位置、大小和类别信息，其中分类预测使用输出维度为类别数的全连接层实现，每个维度分别代表各个类别的预测概率，回归预测使用输出维度为4的全连接层实现，4个维度为(x,y,w,h),分别对应于预测的x、y坐标及宽和高w,h参数；

10、步骤三中，遥感图像特征精炼模块由通道层级注意力模块和空间层级注意力模块组成；通道层级注意力模块可表示为

11、gc(f)＝σ(ln1(avgpool(f))+ln2(maxpool(f)))

12、其中，f为输入的待优化特征图，avgpool表示全局平均池化，maxpool表示最大池化，ln1、ln2各表示一组线性层用于特征映射，σ表示激活函数，将值映射到0～1连续区间内；空间层级注意力模块可表示为

13、gs(f)＝σ(conv7([avgpool(f)；maxpool(f)]))

14、其中，conv7表示采用7*7大小卷积核的卷积层。

15、与现有技术相比，本发明具有如下创新点：

16、1.针对遥感图像特征提取效果差的问题，设计了两个优化策略。

17、2.充分结合了弱监督任务特点，即只有图像级标签，并利用了图像分类领域的发展，生成预训练权重应用于下游遥感弱监督目标检测任务的训练。

18、3.针对遥感图像噪声多、目标小等特点设计了遥感图像特征精炼模块，能够有效去除背景噪声并优化小目标的特征提取效果。

19、根据本申请实施例提供的方法执行流程，运行在例如个人计算机、服务器、嵌入式计算设备、云计算平台等设备中。

技术特征：

1.一种优化特征提取的遥感图像弱监督目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，步骤s2中所述训练图像多分类的模型，是使用resnet网络进行图像多分类任务训练，其中仅训练2个轮次以提前停止训练来减轻过拟合。

3.根据权利要求2所述的方法，其特征在于，所述主干网络对输入图像提取图像特征，生成特征图，将特征图送入所述遥感图像特征精炼模块优化特征提取，并在优化后的特征图上进行后续的处理和预测操作；其中主干网络采用与所述图像多分类的模型相同的网络结构；候选区域处理单元对预提取候选框的特征进行规范化，得到固定长度的特征向量，并提供给所述检测头；检测头输出最终预测的目标实例的位置、大小和类别信息。

4.根据权利要求3所述的方法，其特征在于，通道层级注意力模块的输出为gc(f)，

5.根据权利要求4所述的方法，其特征在于，所述检测头包括分类分支和检测分支，对所述候选区域处理单元输出的固定长度的特征向量进行预测并归一化得到分类分数和检测分数，将分类分数和检测分数相乘得到图像级标签信息，与图像级标签间求取交叉熵损失。

6.一种信息处理设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，行所述程序时实现，其特征在于，所述计算机程序由处理器执行时实现如权利要求1至5任一项所述的方法。

技术总结
提供了一种优化特征提取的遥感图像弱监督目标检测方法，包括以下步骤：S1:获取遥感图像弱监督目标检测数据集，其中所有图像的标签为图像级标签；S2:用带有图像级标签的所述遥感图像弱监督目标检测数据集训练图像多分类的模型，用于提供弱监督目标检测模型的预训练权重参数；S3:构建遥感图像特征精炼模块，集成到弱监督目标检测模型中；S4:使用S2步骤得到的预训练权重参数初始化弱监督目标检测模型的主干网络的参数，并训练所述弱监督目标检测模型；S5:将待检测图像提供给训练好的弱监督目标检测模型，所述若训练好的弱监督目标检测模型输出对待检测图像的目标检测结果。

技术研发人员：马静,郝创博,张依漪,王磊
受保护的技术使用者：北京京航计算通讯研究所
技术研发日：
技术公布日：2024/1/15