一种基于尺度信息增强的遥感图像少样本目标检测方法

本发明涉及遥感图像检测，更具体的说是涉及一种基于尺度信息增强的遥感图像少样本目标检测方法。

背景技术：

1、目标检测任务是遥感图像领域的重要研究热点，该任务通过卫星或无人机采集高分辨率的遥感图像，并对感兴趣的目标进行分类和定位。遥感图像包含着丰富的对地观测信息，所以检测遥感图像中的重要目标有着重要意义，遥感图像的目标检测在灾害监测，环境监测，城市规划和气候观测等应用场景下都发挥着重要作用。随着近些年深度学习的进一步研究，其在目标检测领域取得了优异的性能，基于深度学习的遥感图像目标检测技术已经成为一种主流的方案。然而，基于深度学习的模型需要依赖充足数量的数据进行训练才能取得优异的性能。由于大多数遥感设备(如飞机或卫星)采集数据都很昂贵，同时遥感图像上目标较小标注也存在困难，所以去采集一个大规模遥感图像数据集训练网络非常困难。

2、跨尺度是遥感图像目标检测中的常见问题，这是由于传感器的空间分辨率不同以及拍摄高度不同导致的。在遥感图像的采集过程中，目标的尺寸变化范围很大，给目标检测任务带来了挑战，对于同一类物体，既要检测到较小的目标也要检测到较大的目标，需要使深度学习网络充分学习到目标各个尺度上的信息。但在训练集样本较少的情况下，目标的尺度信息分布是稀疏的，可能只包含几个尺度的信息，但真实数据分布是连续的，各个尺度的信息都含有。因此只使用少量样本训练网络时，尺度信息的匮乏，会使网络不能很好的学习到目标的多尺度信息，进而导致网络检测多尺度目标能力下降。因此，如何提供一种基于尺度信息增强的遥感图像少样本目标检测方法是本领域技术人员亟需解决的问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于尺度信息增强的遥感图像少样本目标检测方法，通过添加高斯尺度增强策略可以丰富少样本目标下的尺度信息，通过添加多分支块编码注意力聚合模块使得检测器能够在少样本情况下更好学的学习多尺度特征，解决现有目标检测技术在少量样本下尺度信息不丰富导致网络检测多尺度目标性能低的技术问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于尺度信息增强的遥感图像少样本目标检测方法，包括以下步骤：

4、s1、采集待检测类别目标图像和其他类目标图像，将待检测类别目标图像作为新类图像，将其他类目标图像作为基础类图像；

5、s2、将高斯尺度增强策略添加到faster r-cnn检测器的支持分支中；

6、s3、将多分支块编码注意力聚合模块添加到faster r-cnn检测器的查询分支中；

7、s4、通过基础类图像训练faster r-cnn检测器；

8、s5、通过新类图像微调faster r-cnn检测器，并生成待检测类别的类代表特征；

9、s6、将待检测图像和类代表特征输入faster r-cnn检测器，得到目标的坐标和类别。

10、可选的，s2中的高斯尺度增强策略具体为：将新类图像首先进行尺寸变换到多个尺寸大小，在各个尺寸上的图片上随机使用不同强度的高斯核进行卷积操作，以得到不同尺度下的目标实例，然后将不同尺度下的目标实例共同输入到faster r-cnn检测器的支持分支的特征提取网络中，经过特征提取后得到不同层级的特征图，对不同层级的特征图使用通道级拼接操作，合成得到一个特征图，再进行两次深度卷积，得到融合多尺度信息的类代表特征。

11、可选的，s3中的多分支块编码注意力聚合模块具体为：将待检测图像输入到faster r-cnn检测器的查询分支的共享权重特征提取网络得到检测特征图，对检测特征图进行多分支的块编码，不同分支采用不同大小的块编码以获得不同尺度的感受野大小，之后每个分支的独立的与类代表特征进行基于transformer的交叉注意力的计算实现特征重加权，之后将多个分支的特征重加权结果根据其特征图的空间大小，由小到大依次进行上采样以及元素级加法实现多个分支的特征聚合，最后将聚合后的检测特征图与原始检测特征图再次进行通道级拼接完成最终多尺度特征聚合。

12、可选的，s4具体为：

13、s41、随机选取基础类中各个类别的一个实例输入采用高斯尺度增强策略的支持分支生成多个基础类的类代表特征；

14、s42、将一张待检测图像输入采用多分支块编码注意力聚合模块的查询分支中进行特征重加权，生成检测结果，检测结果为基础类的目标框；

15、s43、将检测结果与待检测图像的标签进行分类和回归损失的计算，对网络进行反向传播训练。

16、其中，图像的标签为目标的类别以及检测框的坐标。

17、可选的，s43中的反向传播训练具体为：通过分类和回归损失的计算得到fasterr-cnn检测器中参数权重的梯度，使faster r-cnn检测器中参数的权重中减去梯度乘以学习速率，完成参数权重的更新，重复上述过程直到迭代次数达到预设值，完成反向传播训练。

18、可选的，s5具体为：

19、s51、将新类的一个实例输入采用高斯尺度增强策略的支持分支生成新类的类代表特征；

20、s52、随机选取基础类中各个类别的一个实例输入采用高斯尺度增强策略的支持分支生成多个基础类的类代表特征；

21、s53、将一张待检测图像输入采用多分支块编码注意力聚合模块的查询分支中进行特征重加权，生成检测结果，检测结果中同时包含新类和基础类的目标框；

22、s54、将检测结果与待检测图像的标签进行分类和回归损失的计算，对网络进行反向传播训练；

23、s55、完成训练，得到faster r-cnn检测器中参数的最终权重以及待检测类别的类代表特征。

24、可选的，s6具体为：待检测图像经过faster r-cnn检测器的支持分支的特征提取网络后，经过查询分支的多分支块编码注意力聚合模块进行类代表特征重加权，将得到的特征图输入到区域选取网络中生成感兴趣的区域，得到区域特征图，将区域特征图的空间大小对齐后，输入到分类回归模块得到可能存在目标的边界框地址和大小、目标种类以及置信度，根据设置的置信度阈值对目标进行筛选，得到初步筛选结果，最后通过极大值抑制对初步筛选结果进行进一步处理后，输出目标类别和坐标。

25、经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于尺度信息增强的遥感图像少样本目标检测方法，具有以下有益效果：本发明通过采用高斯尺度增强策略和多分支块编码注意力聚合模块的遥感图像少样本目标检测模型对待检测图像进行检测，输出标记有丝分裂细胞的标记框以及表明有丝分裂细胞类别的标签，解决了现有遥感图像少样本目标检测中训练样本较少包含的尺度分布信息稀疏导致难以实现使用真实的尺度分布数据进行训练以及检测器的性能受到检测图像目标尺度变化范围大的影响会大幅下降的问题，能够使用少样本的目标丰富尺度信息进行训练且检测多尺度目标精度高。

技术特征：

1.一种基于尺度信息增强的遥感图像少样本目标检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于尺度信息增强的遥感图像少样本目标检测方法，其特征在于，s2中的高斯尺度增强策略具体为：将新类图像首先进行尺寸变换到多个尺寸大小，在各个尺寸上的图片上随机使用不同强度的高斯核进行卷积操作，以得到不同尺度下的目标实例，然后将不同尺度下的目标实例共同输入到faster r-cnn检测器的支持分支的特征提取网络中，经过特征提取后得到不同层级的特征图，对不同层级的特征图使用通道级拼接操作，合成得到一个特征图，再进行两次深度卷积，得到融合多尺度信息的类代表特征。

3.根据权利要求1所述的一种基于尺度信息增强的遥感图像少样本目标检测方法，其特征在于，s3中的多分支块编码注意力聚合模块具体为：将待检测图像输入到faster r-cnn检测器的查询分支的共享权重特征提取网络得到检测特征图，对检测特征图进行多分支的块编码，不同分支采用不同大小的块编码以获得不同尺度的感受野大小，之后每个分支的独立的与类代表特征进行基于transformer的交叉注意力的计算实现特征重加权，之后将多个分支的特征重加权结果根据其特征图的空间大小，由小到大依次进行上采样以及元素级加法实现多个分支的特征聚合，最后将聚合后的检测特征图与原始检测特征图再次进行通道级拼接完成最终多尺度特征聚合。

4.根据权利要求1所述的一种基于尺度信息增强的遥感图像少样本目标检测方法，其特征在于，s4具体为：

5.根据权利要求4所述的一种基于尺度信息增强的遥感图像少样本目标检测方法，其特征在于，s43中的反向传播训练具体为：通过分类和回归损失的计算得到faster r-cnn检测器中参数权重的梯度，使faster r-cnn检测器中参数的权重中减去梯度乘以学习速率，完成参数权重的更新，重复上述过程直到迭代次数达到预设值，完成反向传播训练。

6.根据权利要求1所述的一种基于尺度信息增强的遥感图像少样本目标检测方法，其特征在于，s5具体为：

7.根据权利要求1所述的一种基于尺度信息增强的遥感图像少样本目标检测方法，其特征在于，s6具体为：待检测图像经过faster r-cnn检测器的支持分支的特征提取网络后，经过查询分支的多分支块编码注意力聚合模块进行类代表特征重加权，将得到的特征图输入到区域选取网络中生成感兴趣的区域，得到区域特征图，将区域特征图的空间大小对齐后，输入到分类回归模块得到可能存在目标的边界框地址和大小、目标种类以及置信度，根据设置的置信度阈值对目标进行筛选，得到初步筛选结果，最后通过极大值抑制对初步筛选结果进行进一步处理后，输出目标类别和坐标。

技术总结
本发明公开了一种基于尺度信息增强的遥感图像少样本目标检测方法，应用于遥感图像检测技术领域。包括以下步骤：采集待检测类别目标图像作为新类图像，采集其他类目标图像作为基础类图像；将高斯尺度增强策略添加到检测器的支持分支中；将多分支块编码注意力聚合模块添加到检测器的查询分支中；通过基础类图像训练检测器；通过新类图像微调检测器，并生成待检测类别的类代表特征；将待检测图像和类代表特征输入检测器，得到目标的坐标和类别。本发明通过采用高斯尺度增强策略和多分支块编码注意力聚合模块的遥感图像少样本目标检测模型对待检测图像进行检测，能够使用少样本的目标丰富尺度信息进行训练且检测多尺度目标精度高。

技术研发人员：俞智斌,杨振宇
受保护的技术使用者：中国海洋大学
技术研发日：
技术公布日：2024/2/1